【ITニュース解説】How a Website Becomes Citable by Search Engines and AI Assistants

ウェブサイトを単に公開するだけでなく、検索エンジンやChatGPTのようなAIアシスタントにその内容を正確に理解させ、情報源として活用してもらうことは非常に重要だ。これを「引用可能なウェブサイト」と呼ぶ。引用可能なサイトとは、ウェブサイトを巡回するプログラムである「クローラー」が、ログインなしでページを読み込み、HTML内のテキスト情報を把握し、情報提供組織を識別し、さらに「構造化データ」という機械が理解しやすい形式の情報と照合できる状態を指す。

クローラーがウェブサイトにアクセスした際、まず何を受け取るかが重要だ。ウェブサーバーから送られてくるHTMLファイルに、記事本文や価格といった主要な内容が直接書かれている必要がある。JavaScriptによって後から表示される内容は、クローラーが認識できない可能性が高いため、「サーバーレンダリング」でサーバー側であらかじめ全てのHTMLを生成してから送ることが有効だ。また、クローラーのアクセス許可も重要だ。ウェブサイトのルートにある「robots.txt」ファイルでアクセスを許可・禁止でき、CDNやホスティングのファイアウォールもアクセスを妨げるため、適切に設定されているか確認する必要がある。アクセスがブロックされれば、クローラーにはウェブサイトが見つけられない。

AIアシスタント、特にOpenAIのChatGPTのようなサービスは、ウェブサイトを巡回する目的が多様だ。OpenAIは四種類のクローラーを公表している。「OAI-SearchBot」はChatGPT検索に表示するため巡回し、「GPTBot」はAIモデルの学習のためにコンテンツを収集する。サイトをChatGPT検索に表示させたいならOAI-SearchBotを許可し、AI学習に使われたくないならGPTBotをrobots.txtで拒否できる。これらは独立した設定だ。その他、「ChatGPT-User」はユーザーが質問した際の回答に必要な情報を取得し、「OAI-AdsBot」は広告ランディングページを巡回する。AIの目的によって異なるクローラーが存在し、それぞれに適切なアクセス制御を行うことがサイト運営者にとって重要となる。

Googleが提供するAI機能も、基本的に従来のウェブ検索と同じインデックスを利用している。そのため、GoogleのAI機能にウェブサイトの内容を反映させたい場合、検索結果に表示される一般的な要件が適用される。具体的には、robots.txtでクローラーのアクセスが許可されていること、ウェブサイト内でページ同士が適切にリンクされていること、主要な内容がテキスト形式で提供されていること、高品質な画像や動画が内容を補足していることなどだ。GoogleのAI機能では、ウェブサイトの特定の情報が検索結果に「スニペット」として表示されることがある。「nosnippet」や「data-nosnippet」といったHTMLタグを使って、表示内容を制御することも可能だが、反映までには時間がかかる場合がある。

「構造化データ」とは、ウェブページの内容を機械がより簡単に、かつ正確に理解できるようにするための標準化された形式で記述された情報のブロックだ。例えば、記事の公開日、著者、種類といった情報を、検索エンジンやAIアシスタントが直接読み取れるように明示するものだ。GoogleはJSON-LDという形式での記述を推奨しており、これはウェブページ内にJavaScriptのコードとして埋め込むことができ、テンプレートやデータベースから情報を動的に生成しやすい利点がある。構造化データを設定する上で最も重要なルールは、実際にウェブページを読んだ人が目にする情報と、構造化データに記述された情報が一致していることだ。ウェブページに「価格は要問い合わせ」とあるのに構造化データに具体的な価格があれば、それは不一致と見なされる。

近年、LLM（大規模言語モデル）の普及に伴い、「llms.txt」という新しいファイル形式の提案も登場した。これは、ウェブサイトのルートディレクトリや特定のパスに配置されるマークダウン形式のファイルで、ウェブサイトのコンテンツの短い地図のような役割を果たす。llms.txtにはサイト名、概要、主要なページへのリンクがリスト形式で記述され、検索エンジン向けのサイトマップやrobots.txtとは異なる目的を持つ。llms.txtは、AIアシスタントがユーザーを助けるためにウェブサイトの情報を必要とした際、サイト全体を巡回しなくても、主要なコンテンツの概要を素早く把握できるようにするためのものだ。OpenAI、Anthropic、Googleといった主要なAI開発企業は、自社の開発者向けドキュメントでこのllms.txtファイルを実際に公開しており、AIアシスタントがより効率的に情報を利用するための新しい取り組みとして注目されている。

ウェブサイトを引用可能な状態にするためには、具体的な作業を四つの段階に分けて確認すると良い。 まず「フェッチ（取得）」で、ウェブサイトのURLがクローラーによって正しく取得できるかを確認する。robots.txtの設定やCDN、ホスティングのファイアウォールによるブロックがないかを調査する。 次に「読み取り」の段階で、主要なテキストコンテンツがきちんと含まれているかを確認する。JavaScriptを無効にした状態でページを閲覧し、重要な情報が読めるかを検証する。テキスト不足ならサーバーレンダリングの仕組みを見直す必要がある。 三つ目は「識別」の段階だ。ウェブサイトのコンテンツが、誰によって、どの組織によって提供され、いつ更新されたのかが明確に表示され、構造化データでも一致していることを確認する。 最後の「構造化」の段階では、設定したJSON-LD形式の構造化データが、実際にページに表示されている情報と一致しているかを検証する。不一致があれば修正し、これまでの三つの段階がクリアできていれば、最後にllms.txtファイルとサイトマップのエントリーを追加する。これらの作業はウェブサイトのテンプレートやコンテンツ管理システムの設計と深く関わっており、特にフェッチや読み取りに関する問題はウェブサイトの基盤に関わる重要な課題であるため、最優先で解決すべきだ。