llms.txt Dosyası Oluşturucu

llms.txt, Answer.AI tarafından 1 Eylül 2024 döneminde ortaya atılan, web sitelerinin yapay zeka modelleri ve otonom ajanlar için optimize edilmiş kısa bir özet sunmasını hedefleyen standart önerisidir. Standart web sayfaları HTML etiketleri, gezinme menüleri, stil şablonları ve reklam scriptleri nedeniyle yoğun veri yükü taşır. Büyük dil modelleri bir web sitesini anlamaya çalışırken bu gereksiz biçimlendirme unsurları bağlam penceresini (context window) hızla tüketir.

Bir web sitesinin kök dizinine yerleştirilen llms.txt dosyası, Markdown biçiminde hazırlanmış sade bir içerik rehberidir. Bu dosya, sitenin ne hakkında olduğunu anlatan tek bir ana başlık, kısa bir özet metni ve en önemli sayfalara yönlendiren bağlantı listelerini içerir. Ajanlar sitenin yüzlerce sayfasını taramak zorunda kalmadan, doğrudan işlerine yarayacak belgeleri, kullanım kılavuzlarını veya API referanslarını bu liste üzerinden seçebilir.

llms.txt resmi bir internet standardı veya W3C onaylı bir protokol değildir. Gönüllü kullanıma dayalı bir topluluk önerisidir. Dosyanın temel felsefesi, yapay zeka sistemlerine sitenizin en değerli sayfalarını doğrudan ve temiz bir formatta sunmaktır. Bu dosya sunucu üzerinde /llms.txt adresinde düz metin olarak barındırılır.

llms.txt dosya yapısı katı ve tutarlı bir Markdown düzenine dayanır. Formatın doğru yorumlanabilmesi için belirli sözdizimi kurallarının eksiksiz uygulanması gerekir.

Dosyanın yapısı yukarıdan aşağıya şu bileşenlerden oluşur:

1. Ana Başlık (H1): Dosyanın en üstünde yer alan tek bir # Proje Adı satırıdır. Dosya içinde birden fazla H1 başlığı bulunamaz.
2. Blok Alıntı Özeti: Ana başlığın hemen altında yer alan, siteyi veya projeyi en fazla 300 karakterde özetleyen tek satırlık alıntı bloğudur.
3. Detay Açıklaması: İsteğe bağlı olarak eklenen, başlık etiketi içermeyen düz paragraflardır. Bu alanda alt başlık kullanılmaz.
4. Kategori Başlıkları (H2): Bağlantıları mantıksal gruplara ayıran ## Belgeler veya ## Rehberler gibi H2 düzeyindeki başlıklardır.
5. Açıklamalı Bağlantı Listesi: Her kategori altında yer alan - [Başlık](URL): İsteğe bağlı açıklama notu biçimindeki satırlardır.
6. Optional Bölümü: Dosyanın en sonuna eklenmesi önerilen ## Optional başlıklı özel bölümdür. Yapay zeka bağlam alanı kısıtlı olduğunda bu bölümdeki ikincil bağlantıları yok sayabilir.

Örnek bir dosya yapısı şu şekildedir:

# Örnek Proje

> Projenin amacı ve sunduğu temel hizmetin tek cümlelik özeti.

## Belgeler
- [Kurulum Rehberi](https://example.com/kurulum): Sistemin sunucuya kurulması adımları.
- [API Referansı](https://example.com/api): REST API uçları ve parametre detayları.

## Optional
- [Kullanım Koşulları](https://example.com/kosullar): Hukuki haklar ve şartlar.

llms.txt Oluşturucu, sözdizimi kurallarını manuel olarak takip etme zahmetini ortadan kaldıran, tamamen tarayıcı içinde çalışan ücretsiz bir araçtır. Herhangi bir üyelik gerektirmez ve girdiğiniz veriler sunuculara iletilmez.

Dosyanızı oluşturmak için şu adımları izleyebilirsiniz:

1. Proje Adı ve Özet: Formun ilk kısmına projenizin adını ve 300 karakteri aşmayan kısa özetinizi yazın.
2. Bölümlerin Tanımlanması: Sitenizin mimarisine uygun başlıklar belirleyin. Örneğin dokümantasyon, kılavuzlar, sıkça sorulan sorular veya blog yazıları için ayrı H2 bölümleri açın.
3. Bağlantıların Eklenmesi: Her bölüme ilgili sayfaların tam http veya https adresini ekleyin. Bağlantı başlığını net tutun ve yapay zekaya sayfa içeriğini özetleyen kısa bir not ekleyin.
4. İsteğe Bağlı Bölüm: İkincil öneme sahip sayfalar için Optional butonuna tıklayarak ayrılmış bölümü listenin en sonuna ekleyin.
5. Kontroller ve İndirme: Oluştur butonuna bastığınızda araç sözdizimi hatalarını, boş bırakılan URL'leri ve eksik başlıkları denetler. Hataları düzelttikten sonra dosyayı llms.txt olarak indirin ve sitenizin ana dizinine yükleyin.

Dosyanızı web sitenize yerleştirdikten sonra, sitenizin bot erişim kurallarını denetlemek için robots.txt test aracı kullanarak genel erişilebilirlik ayarlarınızı da doğrulayabilirsiniz.

llms.txt dosyasının değeri, otomatik site haritalarından farklı olarak insan eliyle küratörlüğü yapılmış bir seçki sunmasında yatar. Bir arama motoru botu sitedeki tüm sayfaları dizine eklemeyi hedeflerken, bir yapay zeka ajanı en doğru yanıta en az belirteç (token) harcayarak ulaşmak ister.

Nitelikli bir içerik haritası oluştururken dikkat edilmesi gereken temel prensipler şunlardır:

• Yalnızca Kalıcı ve Temiz Sayfaları Ekleyin: Dinamik arama sayfaları, oturum açma ekranları veya sık değişen filtre URL'leri yerine doğrudan bilgi veren kalıcı URL'leri tercih edin.
• Açıklama Notlarını Fonksiyonel Yazın: Bağlantıların yanındaki not alanına süslü pazarlama cümleleri yerine teknik bilgi verin. Örneğin API Kimlik Doğrulama: Bearer token ve OAuth2 akış kuralları şeklinde doğrudan konuyu belirten ifadeler kullanın.
• Dosya Hacmini Dengeli Tutun: Yüzlerce bağlantıdan oluşan devasa bir liste bağlam penceresini şişirir. Temel mimariyi anlatan 15 ile 40 arasındaki seçkin sayfa çoğu proje için yeterlidir.
• URL Biçimini Standartlaştırın: Yönlendirme içeren veya göreceli yollar yerine doğrudan https:// ile başlayan nihai adresleri kullanın.

llms.txt dosyasının web dünyasındaki etkisi ve benimsenme düzeyi doğru anlaşılmalıdır. Bu dosya geleneksel arama motoru optimizasyonunda (SEO) doğrudan bir sıralama faktörü değildir. Dosyaya sahip olmak sitenizin Google sıralamasını yükseltmez veya yapay zeka yanıtlarında sitenizin kesinlikle kaynak gösterileceğini garanti etmez.

Dosyanın bugünkü asıl işlevi, web sitenizden bilgi çeken kodlama asistanları, bağımsız yapay zeka araştırma araçları ve otonom arama ajanlarına yapılandırılmış bir rehber sağlamaktır. Bir ajan sitenizde /llms.txt adresini bulduğunda, gereksiz sayfaları taramakla vakit kaybetmeden doğrudan belirlediğiniz belgeleri inceler.

Web sitenizin hangi botlar tarafından taranabileceğini kontrol altına almak için yapay zeka botları için robots.txt oluşturma aracı yardımıyla erişim izinlerini düzenleyebilir, ardından llms.txt dosyanızla izin verdiğiniz ajanlara en doğru içerik haritasını sunabilirsiniz. Sayfalarınızın arama motorlarına hızlı bildirilmesi için ise IndexNow URL gönderim aracı gibi tamamlayıcı çözümlerden yararlanabilirsiniz.