【ITニュース解説】llms.txt explained: the format, a template and common mistakes

現代のウェブサイトは、人間だけでなく、ChatGPTのような大規模言語モデル（LLM）を利用したAIツールによっても情報が読み取られ、活用されるようになっている。こうしたAIツールがウェブサイトの情報をより正確かつ効率的に理解し、ユーザーに提供できるようにするための新しい試みが「llms.txt」というファイル形式だ。システムエンジニアを目指す上で、このような新しいウェブ技術の動向を理解することは重要である。

llms.txtは、ウェブサイト運営者がAIツールに対し、そのサイト内で特に重要なページを厳選して教えるための仕組みである。これはMarkdown形式のテキストファイルで、通常はウェブサイトのルートディレクトリ、例えば「https://yourwebsite.com/llms.txt」に設置される。このファイルの目的は、AIエージェントがユーザーの質問に答える際などに、サイトの膨大な情報の中から「最も関連性の高い情報」を素早く見つけ出す手助けをすることだ。

よく比較される既存のファイルに「robots.txt」がある。robots.txtは、検索エンジンのクローラー（情報を収集するプログラム）に対して「このページは見ないでほしい」とか「この部分は巡回しないでほしい」といった指示を出すための「制御ファイル」だ。一方、llms.txtは、AIクローラーに対して特定のページへのアクセスを制御するものではない。あくまで「このページが重要なので、AIツールが情報を探す際に参考にしてください」と案内する「情報提供ファイル」という位置づけである。また、サイト内の全てのページをリストアップする「sitemap.xml」とも異なり、llms.txtはサイトの「キュレーションされた（厳選された）概要」を提供する。

llms.txtは、2024年に提案された比較的新しいコンセプトで、現時点では「コミュニティ提案」であり、IETFやW3Cといった国際的な標準化団体によって正式に承認された標準ではない。そのため、AIツールを提供する全ての企業がこのファイルを読み込み、その情報を活用することを義務付けられているわけではない点に注意が必要だ。しかし、将来的にはAIによる情報検索の精度向上に貢献する可能性を秘めているため、その動向は注目に値する。

llms.txtのファイル形式は、Markdownのシンプルなルールに従っている。ファイルには、いくつかの要素が定められた順序で記述される。まず、ファイルの冒頭にはサイト名やプロジェクト名を示すH1見出し（例：# Example Store）を記述する。これはllms.txtファイル内で唯一の必須項目とされている。このH1見出しの直後には、サイト全体の概要や、ファイルに記述されている内容を理解するために必要な重要な事実をまとめた短い要約を、ブロッククォート形式（行頭に>を付けて記述）で含める。この要約は、AIがサイトの全体像を把握するための重要な情報源となる。

要約の後には、必要に応じて追加の詳細情報を段落やリスト形式で記述できるが、ここにはH1やH2などの見出しを含めてはならない。そして、サイトの主要なコンテンツをカテゴリ分けし、それぞれのカテゴリに属するページのリンクをリスト形式で記述するためのH2セクション（例：## Products）を配置する。各H2セクション内では、リンクは- [リンク名](URL): 説明という形式で一行ずつ記述する。このとき、URLはフルパス（例：https://example.com/en/mugs/）で記述することが推奨される。これは、AIツールがllms.txtファイルを単独で読み込んだ際にも、リンクが正しく機能するようにするためだ。また、## Optionalという特別なH2セクションを設ける慣例もある。ここには、AIエージェントがより短い文脈で情報を必要とする際にスキップしても問題ないような、二次的なリンク（例えば「会社概要」や「ブログ」など）を配置する。

llms.txtの他に「llms-full.txt」というファイル形式も存在するが、これはllmstxt.orgの公式提案には含まれていない。llms-full.txtは、リンクを記述する代わりに、主要なページのテキスト内容そのものをファイル内に直接含める形式である。このファイルは、主要なページのテキスト情報をすでにMarkdown形式で管理している場合にのみ、公開を検討するのが良いだろう。

llms.txtを正しく作成・公開するには、いくつかの点に注意が必要だ。AIツールがファイルを読み込む際にエラーとならないよう、よくある間違いとその対策を理解しておくことは、システムエンジニアとして品質の高いウェブサイトを構築する上で不可欠である。 例えば、最も一般的な間違いの一つは、llms.txtファイルが「HTMLとして提供される」ことである。ウェブサーバーの設定によっては、llms.txtというパスに対するリクエストに対して、実際にはHTML形式のエラーページやホームページの内容を返してしまう場合がある。AIツールはプレーンテキスト形式のMarkdownファイルを期待しているため、このような場合、ファイルは存在しないものとみなされてしまう。これを修正するには、ファイルをhttps://yoursite.com/llms.txtというパスでプレーンテキストとして正しく配信し、HTTPレスポンスヘッダのContent-Typeがtext/html以外の適切なMIMEタイプ（例: text/plainやtext/markdown）であることを確認する必要がある。curl -i https://yoursite.com/llms.txtのようなコマンドを使って確認すると良い。 また、ファイルが「見つからない」あるいは「空である」場合も同様に、AIツールは情報を取得できない。これはHTTPステータスコードが404（Not Found）などの2xx以外の値であるか、ファイルの中身が空であることを指す。ファイルがサイトのルートディレクトリに正しく公開されているかを確認する必要がある。 ファイルの内容に関する間違いとしては、まず「H1見出しがない（missing-h1）」ことが挙げられる。llms.txtの提案では、H1見出しは必須項目であるため、ファイルを# Your site nameで始める必要がある。H1見出しがファイルの最初の行にない場合（h1-not-first）、例えばコメントやその他のテキストが先に記述されている場合もエラーとなる。H1見出しは必ずファイルの最初の行に配置しなければならない。さらに、「H1見出しが複数ある（multiple-h1）」のも間違いだ。H1見出しは一つだけとし、それ以外のセクションにはH2見出しを使用する。 H1見出しの直後にあるべき要約ブロッククォートが欠落している場合（missing-summary）も、ファイルは不完全と見なされる。この場合、H1見出しのすぐ下に> 要約内容という行を追加する必要がある。H2セクションに関する問題としては、「リンクを持つセクションがない（no-link-sections）」ことや、「H2セクションの下にリンクが一つも存在しない（empty-section）」こと、そして「リスト項目がMarkdownのリンク形式になっていない（bad-list-items）」ことなどが挙げられる。リンクは必ず- [名前](URL): 説明の形式で記述する必要がある。最後に、要約ブロッククォートと最初のH2セクションの間に、H3〜H6などの不適切な見出しが挟まっている場合（heading-in-details）も修正が必要だ。この部分には段落やリストを使用するか、またはその内容をH2セクションとして扱うべきである。

これらのチェックを全て通過し、H1見出しがファイルの最初の行に一つだけ存在し、要約と少なくとも一つのリンク付きセクションがあれば、そのllms.txtファイルは「有効」と判定される。H1見出しはあるが他の必須要素が欠けている場合は「部分的」、H1見出し自体がない場合は「無効」となる。ただし、これらのチェックはあくまで形式が提案に沿っているかを確認するものであり、AIツールが実際にそのファイルを読み込み、情報を活用するかどうかを保証するものではない。

llms.txtを導入するかどうかは任意だが、特別なコストはかからないため、AIツールに伝えたい明確な重要ページ群がある場合には公開を検討する価値はある。ただし、AIクローラーの巡回を制御するrobots.txtの設定の方が、現状ではより直接的な影響力を持つため、まずはrobots.txtが適切に設定されているかを確認し、必要に応じて修正することが優先されるべきだ。現在のところ、llms.txtの普及率はまだ低い段階にある。例えば、2026年10月の調査では、人気サイトの約1割程度が有効なllms.txtを公開しているに過ぎない。しかし、AI技術の進化とともにその重要性が増していく可能性もあるため、今後の動向を注意深く見守ることが、システムエンジニアとして時代の変化に対応していく上で求められる。