【ITニュース解説】Detect the tech stack of 500 websites in one run (no browser, about $2.50)

ウェブサイトがどのような技術で構築されているかを知ることは、システムエンジニアを目指す上で非常に興味深いテーマであり、実務においても重要な場面が多々ある。例えば、競合他社がどのようなシステムを使っているか調べたり、特定の手法で構築されたサイトをリストアップしたり、自社のウェブサイトを別のシステムへ移行する際の参考にしたりといった場面が考えられる。しかし、多くのウェブサイトの技術スタックを一つ一つ手作業で確認するのは時間と手間がかかる作業だ。

この課題に対し、手軽に多数のウェブサイトの技術スタックを検出できる新しいツールが登場した。Apifyというプラットフォーム上で動作する「Website Tech Stack Detector」というもので、これはウェブサイトの技術的な構成を効率的に調査することを目的としている。このツールを使えば、WordPress、ShopifyといったCMS（コンテンツ管理システム）やEコマースプラットフォーム、あるいはCloudflareのようなCDN（コンテンツデリバリーネットワーク）やGoogle Tag Managerのような解析ツールが使われているかどうかを、一度に多くのサイトに対して調べることが可能になる。既存の専門サービスの中には高機能で高価なものもあるが、このツールはより手軽に、ざっくりとした情報を素早く得たい場合に適していると言える。

このツールがどのようにウェブサイトの技術を検出するのか、その仕組みはシンプルで効率的だ。まず、指定された各URLに対して、ブラウザを起動したりJavaScriptを実行したりすることなく、1回のプレーンなHTTPリクエストを発行する。この際、最大5回までのリダイレクトも自動的に追跡される。そのリクエストの応答から、いくつかの手がかりを収集し分析することで、技術を特定する。具体的には、ウェブサーバーの種類を示す「Server」ヘッダーや、CDNサービスを示す「cf-ray」「x-vercel-id」といったレスポンスヘッダー、ウェブサイトの生成元を示す「<meta name="generator">」タグの情報を見る。さらに、HTMLソース内のスクリプトURLや、WordPressサイト特有の「/wp-content/」といったパス、Next.jsなどのフレームワークを示す「NEXT_DATA」のような特定のHTMLマーカーも手がかりとなる。クッキーの名前も検出対象となるが、プライバシー保護の観点からクッキーの値は読み取られたり保存されたりすることはない。

このアプローチにより、WordPress、Drupal、WixといったCMS、Shopify、WooCommerce、MagentoなどのEコマースプラットフォーム、さまざまなアナリティクス・タグマネージャー、CDN/ホスティングサービス、ウェブサーバー、JavaScriptフレームワークといった約60種類の技術を認識することができる。検出された各技術に対しては、どのような証拠（例えば「header x-vercel-id」や「meta generator "Drupal 11"」など）に基づいて特定されたのかが明示されるため、ユーザー自身でその根拠を確認し、検出結果の信頼性を判断できる。また、ウェブサイトのrobots.txtというファイルに記載されているルールを尊重するため、クロールを許可されていないページにはアクセスしないという配慮もなされている。

このツールの利用料金も、その手軽さを象徴している。1URLあたりの分析費用は0.005ドル（記事執筆時点）と非常に低価格であり、例えば500サイトを分析しても約2.50ドルで済む計算だ。さらに、すべてのリクエストに対して料金が発生するわけではない。HTTPステータスコードが400未満で正常にコンテンツが取得できたURLに対してのみ課金される。タイムアウトが発生したり、DNS（ドメイン名システム）の解決に失敗したり、4xxや5xxといったエラーが返されたり、非公開のURLやrobots.txtによってスキップされたURLについては、料金は発生しない。分析にかかる計算リソースの費用もこの料金に含まれているため、追加で費用を心配する必要はない。

このツールへの入力は、分析したいウェブサイトのURLリストをJSON形式で提供する形となる。例えば、{"urls": [{"url": "https://wordpress.org"}, {"url": "https://nextjs.org"}]}のように、URLを記述したオブジェクトの配列を作成する。ドメイン名のみの指定も可能だ。500サイトのような大規模なリストの場合でも、スプレッドシートなどからURLの配列を生成して貼り付けるだけで簡単に利用できる。処理の同時実行数やタイムアウト秒数などのオプションも設定できるため、自身の要件に合わせて調整することも可能だ。

出力される結果もまた、分かりやすい構造となっている。各入力URLに対して、最終的にアクセスしたURL、HTTPステータスコード、そして検出された技術のリストが返される。技術のリストには、その技術名、カテゴリ、そして検出の根拠が具体的に示される。これにより、例えばNext.jsのウェブサイトからは「Vercel」というホスティングサービスと「Next.js」というJavaScriptフレームワークが検出され、Drupalのウェブサイトからは「Drupal」というCMS、他にGoogle Tag Manager、Fastly、Apache、jQueryといった技術が検出されたといった具体的な情報が得られる。もし分析が失敗した場合は、技術リストの代わりにエラー情報が返されるため、その原因を特定し、必要に応じて再試行することもできる。

ただし、このツールの精度については現実的な見方をする必要がある。これはあくまで「大まかな（coarse）」ツールであり、完璧な技術プロファイルを構築するものではない。例えば、https://www.shopify.comを分析した際にCloudflareのみが検出され、Shopify自体が検出されないといったケースもある。これは、1回のHTTPリクエストでは検出できる情報に限度があるためで、特定の技術が使われていないという証明にはならない。また、JavaScriptの実行を伴わないため、クライアントサイドレンダリングによって表示される技術や、トップページ以外の特定のページでのみ利用されている技術は検出されない可能性がある。技術のバージョン番号も、<meta name="generator">タグに明記されている場合を除いては報告されない。さらに、ボット対策が施されたサイトや、ログインが必要なサイトでは、ブロックページが返されてしまい、技術スタックの検出ができないこともある。このツールには、プロキシ機能やCAPTCHA解決機能は搭載されていないため、これらの障壁を乗り越えることはできない。

そのため、このツールは「これらの500サイトのうち、WordPressを使っているのはどれか？」「Shopifyを使っているのは？」「Cloudflareを使っているのは？」といった、ヘッダー情報やHTMLソースから比較的容易に判別できる特定の技術に焦点を当てた質問に対して、優れた第一段階のフィルタリングツールとして最も効果を発揮する。もし重要な情報を得る場合は、最終的には手動で確認するといった検証作業が必要となるだろう。実際に500サイトを一度に実行した場合の正確な処理時間は明記されていないが、まずは自身の管理する数サイトで試してみて、その結果と自身が把握している情報とを比較してみるのが良いだろう。

このツールは、プログラミングコードから呼び出すこともできる。小規模なリストであればcurlコマンドを使って同期的にリクエストを送信し、結果を直接受け取ることができる。500URLのような大規模なリストを処理する場合には、ApifyのPythonクライアントライブラリを使うことで、非同期的に処理を実行し、結果を効率的に取得することが可能だ。取得した結果からは、例えば「WordPress」という技術名が含まれるサイトのリストを簡単に抽出できるため、後続の処理に活用しやすい。

まとめると、この「Website Tech Stack Detector」は、数ドルという低コストで、大量のウェブサイトのCMS、Eコマースプラットフォーム、CDN、アナリティクスなどの主要な技術を、その検出根拠とともに一括で調査できる便利なツールだ。システムエンジニアを目指す上では、ウェブサイトの構成を理解する良い足がかりとなり、実務では見込み客のリサーチや競合分析の初期段階で非常に有効な手段となるだろう。ただし、検出精度には限界があるため、あくまで「最初のスクリーニング」として活用し、重要な情報については必ず手動で確認するといった賢い利用方法を心がけることが重要である。