【ITニュース解説】Use the Accept Header to Serve Markdown Instead of HTML to LLMs

大規模言語モデル（LLM）が近年急速に進化し、私たちの生活や仕事に大きな影響を与えている。これらのLLMはインターネット上の膨大な情報を学習し、活用するが、特にウェブページからの情報収集においてある種の非効率性が生じているという問題意識からこの記事は始まる。

ウェブページは通常、HTML（HyperText Markup Language）という形式で構成されている。HTMLは画像や動画、リンク、複雑なレイアウトを可能にし、人間が視覚的に情報を理解しやすいように設計されている。しかし、LLMがウェブページを読み込む際、このHTML形式が必ずしも最適ではないという点がこの記事の核心である。人間向けのHTMLページには、ナビゲーションメニュー、広告、フッター、サイドバーなど、コンテンツの本質とは直接関係のない「余分な情報」が多数含まれている。LLMがこのようなHTMLを解析する場合、まずこれらの無関係な要素を識別し、フィルタリングする作業が必要になる。これはLLMにとって、時間と計算リソースの無駄であり、本当に必要な情報だけを抽出するコストが増大する。さらに、複雑なHTML構造が原因で、LLMがコンテンツの正確な意味や構造を誤って解釈してしまう可能性も存在する。

そこで記事が提案するのは、LLMに対してはHTMLではなく、よりシンプルで構造化されたMarkdown形式でコンテンツを提供することである。Markdownは、テキストを装飾するための軽量なマークアップ言語で、見出しやリスト、強調といった基本的な構造をシンプルな記号で表現できる。HTMLと比べて記述が簡単で、余計な装飾や複雑なレイアウト情報を持たないため、コンテンツの本質的なテキストと構造だけを効率的に伝えることができる。LLMがMarkdown形式のデータを受け取れば、不要な情報のフィルタリング作業が大幅に削減され、より高速かつ正確にコンテンツを理解できるようになる。

このアイデアを技術的に実現するための鍵となるのが、HTTPのAcceptヘッダーという仕組みである。HTTPはWebブラウザとWebサーバーが情報をやり取りする際の通信プロトコルであり、AcceptヘッダーはそのHTTPリクエストの一部としてクライアントがサーバーへ送信する情報の一つである。具体的には、クライアントがどのような形式のデータを受け取ることが可能かをサーバーに伝える役割を持つ。たとえば、一般的なWebブラウザは通常、text/htmlやapplication/xhtml+xmlといったHTML関連の形式を優先して受け取れることをAcceptヘッダーでサーバーに伝える。

記事では、もしLLMがウェブページにアクセスする際に、独自のAcceptヘッダー、例えばtext/markdownという値をサーバーに送信するようになれば、サーバー側はそのヘッダーを解析し、LLM向けに最適化されたMarkdown形式のコンテンツを返すことができると述べている。サーバーは、クライアントからのリクエストに含まれるAcceptヘッダーの内容を確認し、もしtext/markdownが含まれていれば、そのリクエスト元がMarkdown形式を求めていると判断し、HTMLではなくMarkdownデータを生成して応答する。もしtext/markdownが含まれていなければ、これまでの慣例通りにHTMLを返すといった具合に処理を切り分ける。

このような仕組みを導入するメリットは大きい。まず、LLMの側から見ると、ウェブページから情報を抽出する際の効率が劇的に向上する。不要な情報を処理するオーバーヘッドがなくなるため、本質的なコンテンツの理解に集中でき、より迅速かつ正確な応答を生成できるようになる。結果として、LLMの利用にかかる計算リソースや時間の削減にもつながる。次に、コンテンツ提供者側にとってもメリットがある。一つのコンテンツソースから、人間向けのHTMLとLLM向けのMarkdownという異なる形式を自動的に生成し、出し分けることが可能になる。これにより、検索エンジン最適化（SEO）や情報提供の品質向上に貢献できるだけでなく、将来的なLLMとの連携を見据えた先進的なウェブサービス構築の基盤ともなり得る。

しかし、このアプローチにはまだ課題も存在する。最大の課題は、LLMが標準的にAccept: text/markdownというヘッダーを送信するという共通の合意がまだ確立されていない点である。現状のLLMはHTMLを処理する能力が高く、多くのWebサイトがHTML形式でコンテンツを提供しているため、LLM側がMarkdownを優先的に要求する動機が薄い。また、悪意のあるLLMやボットがこの仕組みを悪用してコンテンツを大量に収集する可能性も考慮し、セキュリティ対策やアクセス制御の仕組みも検討する必要がある。

それでも、この記事が示す方向性は、Webコンテンツの消費者が人間からLLMへと多様化する現代において、非常に示唆に富んでいる。Webサイトの設計やバックエンドのコンテンツ生成システムが、単に人間向けのデザインや表現だけでなく、AIエージェントの利用効率も考慮に入れるべき時代が来ていることを示唆している。将来的には、Acceptヘッダーだけでなく、様々な手がかりを用いてクライアントの種類を判別し、最適なコンテンツ形式を提供する「コンテンツネゴシエーション」の重要性が増していくと考えられ、システムエンジニアがWebアプリケーションを設計する上で考慮すべき重要な要素の一つとなるだろう。