【ITニュース解説】AIの「フェッチャー」と「クローラー」がWebインフラに負荷　ファストリーが警鐘

Fastlyは、インターネット上のコンテンツをユーザーに速く届けるための技術であるCDN（コンテンツデリバリーネットワーク）を提供する企業であり、Webサイトとユーザー間のデータ通信、つまりWebトラフィックを常に監視し分析している専門家だ。今回、Fastlyが発表した調査結果は、AI技術の発展に伴って増えている特定の種類の自動プログラム、通称「ボット」が、Webサイトの基盤となるシステム、つまりWebインフラに大きな負担をかけているというものだ。これは、Webサイトの安定した運営にとって無視できない問題となっている。

Webインフラとは、Webサイトがインターネット上で機能するために必要なすべてのIT設備を指す。具体的には、Webページやデータを保存し、ユーザーからの要求に応じてそれらを送り返す「サーバー」や、サーバーとユーザーの間でデータをやり取りするための「ネットワーク」、そして様々な情報を整理して保存する「データベース」などが含まれる。これらすべてが連携して、私たちが普段利用するWebサービスを提供している。Webインフラは、Webサイトが多くのユーザーに利用されても安定して機能し続けるための、まさに土台となる部分である。

従来のボットとしてよく知られているのが「クローラーbot」だ。これはGoogleなどの検索エンジンがWebサイトを定期的に巡回し、その内容を読み込んで検索結果に表示するための情報を集める役割を担っている。クローラーbotはWebサイトの管理者が設定したルールに従い、過度な負荷をかけないように配慮しながら動作することが一般的だった。彼らの目的は、Webサイトの情報を効率的にインデックス化し、検索結果の質を高めることにある。

しかし、最近特に注目され、Webインフラに大きな影響を与えているのが「フェッチャーbot」である。これは、特にChatGPTのような生成AIをはじめとする新しいAI技術が大量のデータを学習するために、Webサイトから特定の情報やコンテンツを「フェッチ（取得）」することを目的としたボットだ。クローラーbotがWebサイトの「全体を索引付けする」という目的を持つのに対し、フェッチャーbotは「特定の、しばしば大量のデータを集める」という、より積極的で集中的な情報収集を行う傾向がある。AIの進化に伴い、より広範囲で特定の分野に特化したデータが求められるようになり、フェッチャーbotの活動も活発化している。

このフェッチャーbotが、Webインフラに大きな負荷を与えている主な原因となっている。Webサイトは、一度に処理できるリクエスト（情報の要求）の数に限りがある。フェッチャーbotが大量かつ高速にリクエストを送りつけると、サーバーは本来のユーザーへのサービス提供に加えて、これらのボットからの要求も処理しなければならなくなる。その結果、サーバーの処理能力が限界に達し、Webサイトの表示が遅くなったり、最悪の場合はサービスが一時的に停止したりする可能性がある。これは、Webサイトの応答速度が低下すれば、ユーザー体験は損なわれ、企業の機会損失にもつながることを意味する。

また、大量のトラフィックを処理するためには、より高性能なサーバーや、データ転送量を増やすためのネットワーク増強が必要となり、Webサイトの運用コストが増大するという問題も発生する。これは、ボットによって不必要なリソースが消費されている状況であり、Webサイト運営側にとっては大きな負担となる。

Fastlyが警鐘を鳴らしているのは、このフェッチャーbotによる負荷が従来のクローラーbotとは異なり、Webインフラの運用に新たな課題を突きつけているためだ。AI技術の進化は目覚ましく、それに伴いAIが消費するデータ量も爆発的に増加している。このデータ需要を満たすために、今後もフェッチャーbotの活動は活発化していくと予想される。

システムエンジニアを目指す皆さんにとって、このニュースは非常に重要だ。将来、Webサービスやシステムを設計・構築・運用する際に、このようなAIボットからのトラフィックをどのように管理し、Webインフラの安定性とパフォーマンスをどのように維持していくかが大きな課題となる。具体的には、ボットの活動を検知し、適切なアクセス制限を設けるためのセキュリティ対策技術、サーバーやネットワークの負荷状況をリアルタイムで監視し、最適化するパフォーマンスチューニングの知識、そしてAIとの共存を前提としたWebサイト設計のスキルなどが求められるようになるだろう。ボットによる不必要な負荷を軽減しつつ、検索エンジンや正当なAIが利用するデータ収集活動は妨げないようにバランスを取ることも重要だ。この問題は、単にサーバーを増強すれば解決するものではなく、賢いトラフィック管理とインフラ設計が不可欠となる。このように、AIの進化は技術の利便性だけでなく、Webインフラの運用における新たな課題も生み出している。システムエンジニアとして、常に最新の技術動向とそれに伴うリスクを理解し、将来のシステム設計に活かしていく姿勢が求められている。