llms.txt क्या है और यह क्यों उपयोगी है
आधुनिक वेबसाइटों पर भारी मात्रा में HTML कोड, जावास्क्रिप्ट, विज्ञापन और नेविगेशन मेन्यू होते हैं। जब कोई AI मॉडल या भाषा मॉडल किसी वेबपेज को पढ़ने की कोशिश करता है, तो इस अतिरिक्त डेटा के कारण संदर्भ सीमा तेजी से भर जाती है। इसी समस्या के समाधान के रूप में llmstxt.org द्वारा llms.txt का प्रस्ताव रखा गया है। यह वेबसाइट के रूट फोल्डर पर रखी जाने वाली एक सरल Markdown फ़ाइल होती है, जो कृत्रिम बुद्धिमत्ता सहायकों को वेबसाइट का संक्षिप्त परिचय और मुख्य पृष्ठों की सूची प्रदान करती है।
यह फ़ाइल AI एजेंट्स को यह समझने में मदद करती है कि वेबसाइट किस बारे में है और कौन सी जानकारी किस पृष्ठ पर मौजूद है। यह पूरी तरह से एक स्वैच्छिक प्रस्ताव है, कोई आधिकारिक वेब मानक नहीं है। इसका उद्देश्य वेब क्रॉलिंग को आसान बनाना और AI सिस्टम को आपकी मुख्य सामग्री तक सीधे पहुँचाना है। चूँकि इस फ़ाइल का प्रारूप अत्यंत हल्का और संरचित होता है, इसलिए भाषा मॉडल इसे बिना किसी अतिरिक्त वेब रेंडरिंग के आसानी से समझ सकते हैं।