वेब बॉट ऑथ कुंजी जनरेटर

पारंपरिक वेब क्रॉलिंग में बॉट और सर्च इंजन अपनी पहचान बताने के लिए User-Agent हेडर और सार्वजनिक IP पतों की सूचियों पर निर्भर रहते हैं। User-Agent स्ट्रिंग को कोई भी दुर्भावनापूर्ण स्क्रिप्ट आसानी से कॉपी कर सकती है, जिससे स्पैमर्स असली बॉट का रूप ले लेते हैं। दूसरी तरफ IP सूचियों का रखरखाव जटिल होता है और क्लाउड नेटवर्क में IP पते तेजी से बदलते हैं। इस समस्या को हल करने के लिए IETF के मानकों पर आधारित Web Bot Auth तकनीक विकसित की जा रही है।

Web Bot Auth व्यवस्था में RFC 9421 HTTP Message Signatures का उपयोग किया जाता है। इसमें क्रॉलर या AI एजेंट प्रत्येक HTTP अनुरोध पर अपनी निजी क्रिप्टोग्राफिक कुंजी से डिजिटल हस्ताक्षर करता है। जिस वेबसाइट पर बॉट जा रहा है, वह बॉट ऑपरेटर के डोमेन पर मौजूद सार्वजनिक कुंजी से इस हस्ताक्षर की पुष्टि करती है।

यह प्रक्रिया पूरी तरह से गैर-खंडन योग्य पहचान प्रमाण उपलब्ध कराती है। यह प्रणाली अभी IETF इंटरनेट ड्राफ्ट के चरण में है, लेकिन बड़ी सर्च कंपनियां और AI प्लेटफॉर्म सुरक्षित बॉट सत्यापन के लिए इसे तेजी से अपना रहे हैं। वेब बॉट ऑथ कुंजी जनरेटर आपको इस नई प्रणाली के अनुरूप Ed25519 कुंजी युग्म और आवश्यक कॉन्फ़िगरेशन तैयार करने में मदद करता है।

वेब बॉट ऑथ कुंजी जनरेटर एक पूर्ण स्टार्टर किट तैयार करता है। इस टूल द्वारा बनाए जाने वाले घटकों का विवरण इस प्रकार है:

1. Key ID (कुंजी पहचानकर्ता): यह RFC 7638 और RFC 8037 मानकों के अनुसार सार्वजनिक कुंजी का SHA-256 आधारित JWK थंबप्रिंट होता है, जिसे बेस64url प्रारूप में प्रस्तुत किया जाता है।
2. Key Directory JSON: यह सार्वजनिक फ़ाइल /.well-known/http-message-signatures-directory पाथ पर होस्ट की जाती है। इसमें केवल सार्वजनिक कुंजी और वैकल्पिक वैधता समय (nbf और exp) शामिल होते हैं।
3. Directory Response Headers: डायरेक्टरी प्रतिक्रिया के लिए 24 घं॰ का नमूना हस्ताक्षर, जो डायरेक्टरी एंडपॉइंट की प्रामाणिकता सिद्ध करता है।
4. निजी और सार्वजनिक कुंजियां: निजी कुंजी JWK और PKCS#8 PEM प्रारूपों में मिलती है, जिसका उपयोग बॉट क्लाइंट अनुरोधों पर हस्ताक्षर करने के लिए करता है। सार्वजनिक कुंजी SPKI PEM प्रारूप में भी प्रदान की जाती है।
5. हस्ताक्षरित अनुरोध और curl उदाहरण: इसमें @authority और signature-agent घटकों को कवर करने वाले हेडर और ठीक 5 मि॰ में समाप्त होने वाला हस्ताक्षर शामिल होता है।
6. Signature Base: वह बाइट-सटीक टेक्स्ट स्ट्रिंग जिस पर क्रिप्टोग्राफिक एल्गोरिदम द्वारा हस्ताक्षर किए जाते हैं।

वेब बॉट ऑथ का उपयोग करने के लिए बॉट संचालक को अपने डोमेन पर सार्वजनिक कुंजी डायरेक्टरी प्रकाशित करनी होती है। यह डायरेक्टरी https://example.com/.well-known/http-message-signatures-directory पाथ पर उपलब्ध होनी चाहिए।

डायरेक्टरी प्रतिक्रिया में application/http-message-signatures-directory+json मीडिया प्रकार होना अनिवार्य है। सुरक्षा नियमों के अनुसार डायरेक्टरी रिस्पॉन्स भी स्व-हस्ताक्षरित होना चाहिए, ताकि कोई बिचौलिया सार्वजनिक कुंजी को बदल न सके। प्रोडक्शन वातावरण में इस रिस्पॉन्स हेडर को नियमित रूप से नए टाइमस्टैम्प के साथ पुनः हस्ताक्षरित किया जाना चाहिए।

कुंजी रोटेशन और वैधता प्रबंधन के लिए JSON में दो वैकल्पिक फ़ील्ड उपयोग किए जाते हैं:

• nbf (Not Before): यूनिक्स टाइमस्टैम्प जो बताता है कि कुंजी किस समय से पहले मान्य नहीं है।
• exp (Expires): यूनिक्स टाइमस्टैम्प जो कुंजी की समाप्ति का समय निर्धारित करता है।

आप जनरेटर में 30 दिन, 90 दिन, 365 दिन या असीमित वैधता में से चयन कर सकते हैं। निश्चित समय सीमा रखने से नियमित कुंजी रोटेशन का अनुशासन बना रहता है।

RFC 9421 मानक HTTP संदेशों पर डिजिटल हस्ताक्षर करने का एक व्यवस्थित तरीका परिभाषित करता है। जब आपका बॉट किसी वेबसाइट पर अनुरोध भेजता है, तो हस्ताक्षर प्रक्रिया निम्नलिखित चरणों में पूरी होती है:

सर्वप्रथम कवर किए जाने वाले घटकों की सूची तय की जाती है। Web Bot Auth ड्राफ्ट में मुख्य रूप से @authority (लक्ष्य होस्ट) और signature-agent (बॉट का ओरिजिन डोमेन) को शामिल किया जाता है।

इसके बाद Signature-Input हेडर तैयार किया जाता है जिसमें निम्नलिखित पैरामीटर होते हैं: - created: हस्ताक्षर बनने का यूनिक्स समय। - expires: हस्ताक्षर समाप्त होने का समय, जो सामान्यतः 5 मि॰ के भीतर रखा जाता है। - keyid: कुंजी का अद्वितीय थंबप्रिंट। - alg: क्रिप्टोग्राफिक एल्गोरिदम, जैसे ed25519। - tag: इसका मान web-bot-auth तय किया गया है।

इन सभी घटकों और इनपुट पैरामीटरों को एक सख्त प्रारूप में जोड़कर Signature Base स्ट्रिंग बनाई जाती है। फिर निजी कुंजी द्वारा Ed25519 एल्गोरिदम का उपयोग करके इस बेस पर हस्ताक्षर किए जाते हैं। उत्पन्न बाइनरी हस्ताक्षर को Base64 एन्कोडिंग के माध्यम से Signature हेडर में रखा जाता है। सर्वर पर टोकन और सिग्नेचर संरचना का सत्यापन ठीक उसी तरह किया जा सकता है जैसे सुरक्षा प्रणालियों में टोकन जांच के लिए JWT डिकोडर जैसी तकनीकों का विश्लेषण होता है।

क्रिप्टोग्राफिक सुरक्षा पूरी तरह से निजी कुंजी की गोपनीयता पर निर्भर करती है। यदि निजी कुंजी लीक हो जाती है, तो कोई भी अन्य व्यक्ति आपके बॉट के नाम पर फर्जी अनुरोध भेज सकता है।

वेब बॉट ऑथ कुंजी जनरेटर में सुरक्षा का विशेष ध्यान रखा गया है:

• स्थानीय जेनरेशन: सभी Ed25519 कुंजी युग्म आपके ब्राउज़र के अंदर Web Crypto API द्वारा बनाए जाते हैं।
• शून्य डेटा ट्रांसमिशन: आपकी निजी कुंजी कभी भी किसी बाहरी सर्वर पर नहीं भेजी जाती और न ही किसी डेटाबेस में रिकॉर्ड होती है।
• मेमोरी स्वच्छता: जैसे ही आप ब्राउज़र पेज को रीलोड या बंद करते हैं, उत्पन्न कुंजी ब्राउज़र मेमोरी से हमेशा के लिए हट जाती है।

कुंजी जनरेट करने के तुरंत बाद JWK या PEM फ़ाइल को डाउनलोड करें और इसे एडब्ल्यूएस सीक्रेट्स मैनेजर, हाशिकॉर्प वॉल्ट या अपने सुरक्षित प्रोडक्शन एनवायरनमेंट में स्टोर करें। सार्वजनिक कुंजी डायरेक्टरी बनाते समय ध्यान रखें कि केवल सार्वजनिक भाग ही प्रकाशित हो और निजी कुंजी का d पैरामीटर कभी भी सार्वजनिक फ़ाइल में शामिल न हो।

वेब आर्किटेक्चर में बॉट सत्यापन और एक्सेस नियंत्रण दो अलग-अलग स्तर हैं। Web Bot Auth केवल यह प्रमाणित करता है कि अनुरोध भेजने वाला बॉट वास्तव में वही ऑपरेटर है जिसका वह दावा कर रहा है। यह तकनीक बॉट को वेबसाइट का डेटा पढ़ने की स्वतः अनुमति नहीं देती।

साइट मालिक यह तय करने के लिए स्वतंत्र हैं कि वे प्रमाणित बॉट को कौन से पेज देखने की अनुमति देना चाहते हैं। इसके लिए मानक robots.txt नियमों का उपयोग किया जाता है।

बॉट ऑपरेटरों को अपने क्रॉलर की पहचान के लिए डिजिटल सिग्नेचर लागू करने के साथ-साथ साइट की अनुमतियों का सम्मान भी करना चाहिए। वेबसाइट स्वामी अपने वेब सर्वर पर AI क्रॉलर robots.txt जनरेटर के जरिए नियम बना सकते हैं और उनके सही कार्यान्वयन की जांच के लिए robots.txt परीक्षक का उपयोग कर सकते हैं।