【ITニュース解説】Title: Perplexity's Web Crawlers Allegedly Scraping Websites They're Not Supposed To

インターネット上には、「Webクローラー」と呼ばれる自動プログラムが存在する。これは、Googleなどの検索エンジンがウェブサイトのコンテンツを自動的に収集し、検索結果に表示するために不可欠な役割を担っている。クローラーがウェブサイトから情報を取得する行為は「スクレイピング」と呼ばれ、通常は検索エンジンのインデックス作成など、正当な目的のために行われる。しかし、今回のニュースは、Perplexityという企業が提供するWebクローラーが、ウェブサイトの許可を得ずに情報をスクレイピングしている疑いがあることを報じている。

Perplexityは、AIを活用した質問応答システムを提供しており、その回答を生成するためにインターネット上の大量の情報を収集している。ウェブサイトの所有者は、通常、自分のサイトへのクローラーのアクセスを制御する方法を持っている。最も一般的なのが「robots.txt」ファイルだ。これはウェブサイトのルートディレクトリに置かれるシンプルなテキストファイルで、「このウェブサイトのこの部分にはアクセスしないでください」とか、「この種類のクローラーはアクセスしないでください」といった指示を記述できる。Webクローラーは、このrobots.txtファイルを最初に読み込み、その指示に従ってウェブサイトを巡回することが期待されている。

しかし、セキュリティサービス大手であるCloudflare社からの新しい報告によると、PerplexityのWebクローラーは、このrobots.txtによる制限を回避している疑いがあるという。Cloudflareの報告によれば、Perplexityのボットは「ステルスクローリング」という手法を用いている。これは、自身の本当の身元を隠し、あたかも別の通常のブラウザや別のクローラーであるかのように装って、ウェブサイトのアクセス制限をかいくぐる技術を指す。Perplexityの公式なクローラーは「PerplexityBot」や「Perplexity-User」という名前で識別されるが、Cloudflareが行ったテストでは、robots.txtファイルでこれらの公式クローラーを明示的にブロックしているにもかかわらず、Perplexityがそのウェブサイトのコンテンツを表示できていたことが判明した。これは、公式クローラー名を名乗らずにアクセスしていたことを強く示唆している。

さらに、この問題はrobots.txtファイルだけでなく、「Web Application Firewall（WAF）」と呼ばれるセキュリティシステムによってクローラーが制限されているウェブサイトでも発生したという。WAFは、ウェブアプリケーションへの特定の種類の攻撃や不審なアクセスを防ぐために設計された特別なファイアウォール（防火壁）であり、疑わしい挙動をするクローラーをブロックする機能も持つ。Perplexityのクローラーは、これらのWAFによる制限もすり抜けてアクセスしていたとされている。Cloudflareは、Perplexityがこのような回避行動を取るために、robots.txtで通常のボットが禁止されている場合に、macOS上で動作するGoogle Chromeブラウザになりすますための汎用的なブラウザエージェントを使用していると推測している。つまり、通常のウェブブラウザからのアクセスに見せかけることで、サイト側の制限を欺いていると考えられる。

このような行為は、単なる技術的な問題にとどまらず、倫理的な問題も含む。ウェブサイトの所有者は、自分のコンテンツを誰に、どのように利用してほしいかという明確な意思を持っている。robots.txtやWAFはその意思表示の手段であるため、それを無視してコンテンツをスクレイピングすることは、ウェブサイト所有者の権利を侵害し、インターネットにおける信頼関係を損なう行為と言える。

PerplexityのWebクローラーによる不正なスクレイピングがウェブサイトの所有者にもたらす潜在的な害は少なくない。まず、意図しない大量のクローラーがウェブサイトにアクセスすると、サーバーに過度な負荷がかかり、サイトの表示速度が低下したり、最悪の場合、一時的にアクセス不能になったりする可能性がある。これは、ウェブサイトを訪れるユーザーの体験を著しく損なう。次に、不正にスクレイピングされたコンテンツがPerplexityのサービス上で表示されると、元のウェブサイトのコンテンツと「重複」していると検索エンジンに判断されるリスクがある。検索エンジンは、ユニークで質の高いコンテンツを評価する傾向があるため、重複コンテンツが多いと判断されると、元のウェブサイトの検索エンジンランキングが低下し、ウェブサイトが発見されにくくなる可能性がある。これは、ウェブサイトが検索エンジンからのアクセスに大きく依存している場合、ビジネスに深刻な打撃を与えることにもつながる。

こうしたリスクから自分のウェブサイトを守るために、ウェブサイトの所有者はいくつかの対策を講じる必要がある。最も基本的な対策は、前述のrobots.txtファイルを適切に設定し、アクセスを許可したくないクローラーやウェブサイトの特定のセクションを明示的に指定することだ。次に、WAFを導入し、悪意のあるアクセスや疑わしいボットからの保護を強化することも非常に有効である。WAFは、通常のウェブトラフィックを常に監視し、異常なパターンや既知の攻撃を検出してブロックすることができる。さらに、ウェブサイトのトラフィックログを定期的に監視し、不審なアクティビティ、例えば特定のIPアドレスからの異常な量のアクセスや、身元不明のクローラーからのアクセスがないかを確認することも重要な手段となる。これらの対策を組み合わせることで、ウェブサイトは不正なスクレイピングからより強固に保護され、コンテンツが許可されたクローラーによってのみインデックスされることを確実にできる。

今回のPerplexityに関する報道は、インターネットにおける情報収集の倫理とセキュリティの重要性を改めて浮き彫りにしたと言える。システムエンジニアを目指す皆さんにとっても、Webクローラーの仕組み、robots.txtやWAFのようなセキュリティ技術の役割、そしてそれらがどのように悪用されうるかを理解することは、将来のシステム開発や運用において非常に重要な知識となるだろう。健全なインターネット環境を維持するためには、技術の利用における倫理的な側面と、適切なセキュリティ対策の両方が不可欠である。