【ITニュース解説】Which AI bots visit my website? I counted for 30 days

ウェブサイトを運営していると、さまざまな目的でインターネット上を巡回する自動プログラム、いわゆる「ボット」や「クローラー」が訪問してくる。近年、AI技術の発展に伴い、AIモデルの学習やAIアシスタントの回答生成のために情報を収集するAIクローラーの活動が活発になっている。この記事では、ある個人のブログサイトが30日間にわたって、どのようなAIクローラーに、どれくらいの頻度で、どのような目的で訪問されたかを詳細に調査した結果が述べられている。この調査は、ウェブサイトへのAIクローラーの具体的な実態を理解するのに役立つだろう。

まず、過去30日間でウェブサイトを訪問したAIクローラーの種類と、その数を具体的に見ていく。この調査では、Cloudflareというウェブサイトのパフォーマンス向上やセキュリティ強化を助けるサービスが提供する機能を利用し、AIクローラーからのアクセスを特定した。結果として、約4,040件のリクエストがAIクローラーからあった。最も多く訪問したのはGoogleで、その次にAnthropic（ClaudeBotなど）、OpenAI（GPTBotなど）、Apple（Applebot）、Microsoft（BingBot）が続いた。これらのクローラーは、それぞれの企業が提供する検索エンジンやAIサービスのために情報を収集している。特にGooglebotは、従来の検索エンジンだけでなく、GoogleのAI回答の基盤となる情報も収集しているため、AIクローラーとして認識されている。

次に、AIクローラーがウェブサイトを訪問する目的についてだ。Cloudflareの分析によると、AIクローラーの訪問目的は大きく分けて5つに分類される。最も多かったのは「AIモデルのトレーニング」のためのデータ収集で、成功したリクエストの約半分、およそ1,720件を占めた。これは、ChatGPTのような大規模言語モデルを学習させるために、ウェブサイトのテキスト情報を集めていることを意味する。次に多かったのは「検索エンジンのインデックス構築」で、従来の検索結果表示のためにページ情報を集める目的だ。さらに「AI検索」のためのインデックス構築も一定数あり、これはAIが質問に答える際に参照する情報を集める目的である。一方で、「AIアシスタントがユーザーの質問に応じて特定のページを読み込む」という目的での訪問は、30日間でわずか26件と非常に少なかった。これは、普段私たちがAIアシスタントに質問して答えが返ってきても、その場でウェブサイトを読み込んでいるケースは稀であり、ほとんどの場合、事前に学習済みの情報やインデックスから回答を生成していることを示唆している。つまり、AIクローラーの活動の大部分は、将来のためのデータ収集や学習であり、ユーザーが直接何かを求めているわけではない。

AIクローラーがウェブサイトのどの部分を主に読んでいるかについても興味深い結果が出ている。調査によると、個々の記事コンテンツよりも「サイトマップ」が圧倒的に多く読まれていた。サイトマップとは、ウェブサイト内のページのリストが書かれたファイルであり、クローラーがウェブサイトの構造を理解し、存在するページを見つけるための手助けとなる。記事本体は多くても数十回程度しか読まれていないのに対し、サイトマップは数百回もアクセスされていた。これは、AIクローラーがまずウェブサイト全体の構成を把握し、どのページがあるのかを確認することに重点を置いていることを示している。このことから、ウェブサイトの管理においては、正確で最新のサイトマップを維持することが、AIクローラーに効率よく情報を伝え、訪問してもらう上で非常に重要であることがわかる。

しかし、全てのAIクローラーと名乗るアクセスが、本当にAI企業からのものとは限らない。調査の中では、AIクローラーのユーザーエージェント（ウェブサイトにアクセスしてきたプログラムが自分自身を名乗る情報）を偽装し、パスワードファイルや設定ファイルといった、通常はウェブ上に公開しないはずのファイルを探す悪意のあるスキャナーの存在も確認された。これらのファイルはウェブサイトのリンクからは通常アクセスできないため、正規のクローラーがこれらを要求することはありえない。もしウェブサイトを構築する際に、意図せずそのような機密情報が公開されてしまう設定になっていると、こうした悪意のあるボットによって情報が盗まれるリスクがあるため、ウェブサイトのセキュリティ設定を定期的に確認することが極めて重要だ。

AIクローラーがウェブサイトを訪問し、情報を収集したからといって、必ずしもその情報がAIアシスタントの回答に引用されるわけではないという点も注目すべきだ。著者のウェブサイトはOpenAIのクローラーから508件ものリクエストを受けたにもかかわらず、ChatGPTに自身のサイトが引用された回数は12件の質問中0回だった。GoogleのAI機能でも引用はほとんどなかったという。一方で、あまり多くのアクセスがなかったPerplexityという別のAIアシスタントからは、比較的多くの引用があった。このことから、AIアシスタントにウェブサイトの情報が引用されるかどうかは、単にクローラーの訪問回数だけでなく、ウェブサイトの情報の質、信頼性、他サイトとの比較など、さまざまな要因によって決まることがわかる。ウェブサイトを運営する側としては、質の高いコンテンツを提供し、信頼される情報源となることが、AIアシスタントに引用されるための一歩と言えるだろう。

自分のウェブサイトにどのようなAIクローラーが訪問しているかを確認する方法はいくつかある。もしウェブサイトがCloudflareを利用している場合は、Cloudflareのダッシュボードにある「AI Crawl Control」機能を使えば、簡単にアクセス状況を確認できる。どのAI企業が、どの目的で、どのページをどれくらい訪問したか、といった情報がまとめて表示される。Cloudflareを利用していない場合は、ウェブサーバーのアクセスログというファイルを確認する方法がある。アクセスログには、ウェブサイトへのすべてのアクセス記録が残されており、そこに記載されたユーザーエージェント情報から、GPTBotやClaudeBotといったAIクローラーの名前を見つけ出すことができる。また、robots.txtというファイルを活用する方法もある。これは、ウェブサイトのどの部分をクローラーに訪問させ、どの部分を訪問させないかを指示するファイルであり、この内容を確認することで、どのAIクローラーに自分のサイトの情報収集を許可しているかがわかる。

この記事の著者は、自身のウェブサイトからAIクローラーの訪問を制限せず、ほとんどすべてのAIクローラーを受け入れている。その理由は、自身の考えや情報が、検索エンジンやAIアシスタントを通じてより多くの人に届くことを望んでいるからだ。ウェブサイトを公開する目的が情報発信である以上、AIクローラーによる情報収集を妨げるべきではないという考えに基づいている。今回の30日間の調査は、AIクローラーに情報収集を許可することが、単に「始まり」に過ぎず、実際にAIアシスタントによって引用されたり、訪問者につながったりするかは、コンテンツそのものの価値に依存することを明確に示したと言える。システムエンジニアを目指す上で、ウェブサイトの仕組みやデータ収集のされ方、そしてセキュリティに関する知識は不可欠だ。この調査結果は、現代のウェブサイト運営におけるAIクローラーの重要性と、それに対する適切な対応を考える上で貴重な示唆を与えてくれるだろう。