llms.txtとは何か:AI時代の新しいウェブ標準提案
llms.txtは、ウェブサイトのルートディレクトリに配置されるMarkdown形式のファイルであり、大規模言語モデルに対してサイトの概要と重要なリンクを簡潔に伝えるための仕組みです。HTMLページは装飾やナビゲーションなどのノイズが多く、AIのコンテキストウィンドウを圧迫しがちです。llms.txtは人間がキュレーションした純粋なテキストのみを提供することで、AIがサイトの本質を素早く理解できるようにします。
このフォーマットはllmstxt.orgで提案されたものであり、現時点では公式な標準規格ではなく任意の提案という位置づけです。そのため、すべてのAIシステムが必ず読み込むわけではありませんが、ドキュメントやAPIリファレンスを公開する開発者、SaaSプロバイダー、そしてAI検索での認知度を高めたいサイト運営者の間で急速に注目を集めています。
重要な点は、llms.txtがサイトの全ページを自動的にクロールして生成するものではないということです。サイト運営者自身が本当に価値のあるページを選定し、それぞれのページが何を説明しているのかを注釈として添えることが求められます。この手作業によるキュレーションこそが、AIに対して正確なコンテキストを提供する核心です。