llms.txt Generator voor AI-agents en LLM's

Het internet staat vol met websites die primair zijn ontworpen voor menselijke bezoekers. Deze pagina's bevatten navigatiemenu's, advertenties, scripts en complexe HTML-structuren. Voor grote taalmodellen en autonome AI-agenten brengt het verwerken van al deze opmaak overbodige ballast met zich mee, terwijl hun contextvenster begrensd is. Om dit op te lossen introduceerde Answer.AI in 2024 het voorstel voor llms.txt via llmstxt.org.

Een llms.txt-bestand is een beknopt Markdown-bestand dat in de hoofdmap van een website wordt geplaatst, bereikbaar via het pad /llms.txt. Het dient als een gecureerde inhoudsopgave en samenvatting voor AI-systemen. In plaats van een volledige website te crawlen en ruwe HTML te ontleden, kan een AI-agent eerst dit bestand raadplegen om direct te begrijpen waar het project over gaat en welke specifieke documenten relevant zijn voor een vraag.

Het is een informeel community-voorstel en geen officieel geratificeerde webstandaard zoals robots.txt. Het gebruik door AI-aanbieders en zoekmachines is vrijwillig. Het bestand dwingt niets af, maar biedt een gestructureerde manier om informatie aan te bieden aan systemen die het formaat ondersteunen.

Het formaat van llms.txt volgt een strakke Markdown-opbouw. De structuur bestaat uit een vaste volgorde van elementen die softwarematig eenvoudig te parseren zijn door taalmodellen.

Het bestand begint altijd met exact één H1-kop, die de naam van het project of de website bevat. Direct onder deze kop volgt optioneel een korte samenvatting van maximaal 300 tekens, geformatteerd als een citaatregel. Hieronder kunnen eventueel alinea's met toelichtende tekst staan. Binnen deze vrije tekst mogen geen extra koppen worden gebruikt om de hiërarchie zuiver te houden.

Vervolgens bevat het bestand thematische secties onder H2-koppen, zoals documentatie, handleidingen of API-referenties. Binnen elke sectie worden koppelingen opgenomen in de notatie - [Titel](URL): toelichting. De toelichting achter de dubbele punt geeft het model context over de inhoud van de betreffende pagina.

Het formaat kent ook een gereserveerde sectie met de exacte H2-titel Optional. Deze sectie wordt altijd als laatste geplaatst. Links in deze sectie bevatten secundaire documenten die een AI-agent mag overslaan wanneer het contextvenster beperkt is. De llms.txt generator controleert automatisch of deze volgorde en velden correct worden toegepast.

Met de llms.txt generator maakt u binnen enkele minuten een geldig bestand aan zonder handmatige syntaxfouten. Het proces verloopt volledig in uw webbrowser, wat betekent dat er geen gegevens naar een externe server worden verstuurd.

1. Voer de projectnaam of sitenaam in bij het verplichte H1-veld.
2. Schrijf een beknopte samenvatting van één zin die de kern van uw dienst of documentatie beschrijft.
3. Voeg eventueel extra achtergrondinformatie toe in het vrije tekstveld, uitsluitend opgebouwd uit normale alinea's.
4. Maak H2-secties aan voor verschillende onderdelen van uw site, zoals handleidingen, beleidsdocumenten of kernfuncties.
5. Voeg per sectie links toe met een duidelijke titel, een volledige URL met http of https, en een korte toelichting.
6. Voeg secundaire links toe aan de gereserveerde Optional-sectie via de specifieke knop in de generator.
7. Bekijk de ingebouwde controlelijst. Deze tabel toont waarschuwingen en fouten, zoals ontbrekende URL's of een verkeerde positie van de optionele sectie.
8. Download het voltooide bestand en plaats het op uw server in de hoofdmap onder de bestandsnaam llms.txt.

De waarde van een llms.txt-bestand schuilt in handmatige curatie. Het doel is niet om alle pagina's van uw website op te sommen, maar om een selectie te maken van de meest informatieve bronnen.

Houd de samenvatting direct en feitelijk. Beschrijf in één of twee zinnen wat uw project doet en voor wie het bedoeld is. Vermijd marketingtermen en subjectieve beweringen, aangezien taalmodellen feitelijke definities beter verwerken.

Kies uitsluitend voor stabiele, canonieke URL's. Geef de voorkeur aan pagina's met een heldere tekststructuur en minimale visuele ruis. Documentatiepagina's, technische specificaties en inhoudelijke gidsen lenen zich hier uitstekend voor.

Schrijf bij elke link een informatieve toelichting. In plaats van een generieke term zoals documentatiepagina, geeft u aan welke concepten of stappen er worden uitgelegd, zoals stappenplan voor authenticatie via API-sleutels.

Houd het bestand compact. Wanneer een bestand te omvangrijk wordt, verliest het zijn voordeel voor taalmodellen met beperkte invoercapaciteit. Verplaats achtergrondartikelen of uitgebreide voorbeelden naar de Optional-sectie en werk het bestand bij zodra uw sitestructuur verandert.

Moderne websites maken gebruik van verschillende bestanden om geautomatiseerde systemen te informeren. Elk bestand heeft een ander doel en een specifieke doelgroep.

Een robots.txt regelt de toegang tot uw server. Het vertelt webcrawlers welke mappen en pagina's zij wel of niet mogen bezoeken. Voor het beheren van AI-bots gebruikt u een gespecialiseerde AI crawler robots.txt generator, waarna u de regels kunt valideren via een robots.txt tester. Waar robots.txt bepaalt wat een bot mag ophalen, geeft llms.txt advies over wat een model het beste kan lezen.

Een sitemap.xml is een machineleesbare inventarisatie van alle beschikbare URL's op een website, primair bedoeld voor indexering door zoekmachines. Een sitemap bevat honderden of duizenden adressen zonder inhoudelijke toelichting.

In tegenstelling tot een sitemap is llms.txt een geselecteerde leeslijst in Markdown-formaat, verrijkt met annotaties. Het bestand llms-full.txt is een uitgebreidere variant die de volledige tekst van alle pagina's direct integreert, terwijl llms.txt fungeert als gestructureerde index.

Bij het implementeren van nieuwe webtechnieken is een realistische verwachting noodzakelijk. Het plaatsen van een llms.txt-bestand leidt niet automatisch tot betere posities in zoekmachines of gegarandeerde vermeldingen in AI-antwoorden.

Het llms.txt-voorstel wordt voornamelijk gebruikt door ontwikkelaarstools, codeerassistenten en gespecialiseerde AI-agenten die documentatie ophalen tijdens een gerichte opdracht. Grote zoekmachines zoals Google hebben niet gedocumenteerd dat zij llms.txt gebruiken als rankingfactor voor traditionele zoekresultaten.

Het bestand vervangt geen goede contentstructuur of semantische HTML op uw webpagina's. Het fungeert als een aanvulling die het ophalen van informatie efficiënter maakt voor systemen die het bestand herkennen.

Door een overzichtelijk en actueel llms.txt-bestand aan te bieden, verlaagt u de drempel voor AI-toepassingen om uw documentatie correct te interpreteren wanneer zij uw website expliciet raadplegen.