【ITニュース解説】Replacing Screaming Frog with an API: A 10,000-URL Agency Workflow

Webサイトの健全性を保ち、検索エンジンでの表示順位を上げるための活動をSEO（検索エンジン最適化）と呼ぶ。このSEOの分野で、サイトの問題点を見つけるための強力なツールとして広く使われているのが「Screaming Frog SEO Spider」というソフトウェアだ。多くの企業や専門家が、SEOに関する調査（これを「監査」と呼ぶ）を行う際に、まずこのScreaming Frogを使ってWebサイトの状態を詳しく調べることから始める。

Screaming Frogは、指定されたURLからWebサイト内のすべてのリンクをたどって、まるでクモが巣を張るようにサイト全体を巡回（クロール）する。そうして、各ページのタイトル、見出し、メタ情報（検索結果に表示される説明文など）、ページ間のリンク、外部リンク、ページの表示状態を示すHTTPステータスコード（ページが見つからない場合は404エラーなど）、リダイレクト（ページの転送）の連鎖など、SEOに不可欠な詳細情報を自動的に収集してくれる。Webサイトの構造を網羅的に把握し、サイトマップ（サイト内のページのリスト）に載っていない「孤立したページ」まで見つけ出す能力は非常に優れている。一度設定すれば、サイト全体を深く掘り下げて調査できるため、特定のWebサイトを一度だけ徹底的に監査する場合には非常に便利なツールと言える。年間約200ポンドという費用で、単発の深い監査には十分対応できる。

しかし、Screaming Frogには、特に複数のクライアントを抱える専門企業や社内で継続的にWebサイトを管理するチームにとっては、いくつかの限界がある。まず、これは「デスクトップアプリケーション」であり、必ず誰かのパソコン上で実行しなければならない。大規模なサイト、例えば5万ものURLを持つサイトをクロールする場合、高性能なパソコンでも6時間かかることがある。その間、パソコンは起動したままで、エラーなく動作し続ける必要がある。これは非効率的であり、もしパソコンが途中でシャットダウンすれば、最初からやり直さなければならない。

さらに、Screaming Frogのクロール結果は、単一のCSVファイル（表形式のデータファイル）としてパソコンのハードディスクに保存される。そのため、「先週の監査結果と比べて何が変わったのか」を自動的に比較する機能はない。手作業でCSVファイルを比較し、変更点を探す必要がある。また、収集した情報をもとに「このページのSEOスコアは84点だが、競合サイトは91点だ」といった具体的な評価や採点を行う機能も持ち合わせていない。単にデータを提供するだけで、その解釈や評価は人間のアナリストに委ねられる。

最も大きな問題の一つは「APIがない」という点だ。API（Application Programming Interface）とは、異なるソフトウェアやサービス間でデータをやり取りしたり、機能を呼び出したりするための仕組みのこと。APIがないということは、Screaming Frogのクロール処理を他のシステムから自動的に開始させたり、サーバー上で定期的に実行するようスケジュールを設定したりすることができないという意味だ。例えば、Webサイトが更新された際に自動的にSEO監査を実行する、といった自動化されたワークフローを構築するのは困難だ。また、複数人で利用する場合、各アナリストがそれぞれライセンスを購入し、個別に設定し、自分のパソコンにCSVファイルを保存して分析する必要があるため、チームでの連携や情報共有が煩雑になる。これらの制約は、週に何度も監査を行うような運用では、あっという間に多くの時間と手間を費やすことになる。

このようなScreaming Frogの課題を解決し、より効率的なワークフローを実現するために提案されているのが、APIを活用したサーバーサイドでのWebサイト監査だ。これは、Webサイトの監査という最終的な目標は同じだが、その実行方法が根本的に異なる。具体的には、サーバー上でプログラムを実行し、APIを通じて外部のSEO評価サービスを利用する。

記事にはその具体的なコード例が示されている。約60行という少ないコード量で、Webサイトの監査プロセスを自動化できる。このコードは、まずWebサイトのサイトマップ（sitemap.xml）からすべてのURL（ページのリスト）を取得する。サイトマップはWebサイトの管理者が検索エンジンにサイトの構造を伝えるために作成するファイルで、通常は最新のページ情報を含んでいる。次に、取得したURLのリストをSEO評価サービスのAPIに送信し、各URLのSEOスコアや詳細な監査結果を受け取る。APIは通常、JSON（JavaScript Object Notation）という形式でデータを返す。JSONはプログラミング言語が扱いやすいデータ形式で、CSVとは異なり構造化された情報を効率的にやり取りできる。この一連の処理はすべてサーバー上で自動的に実行されるため、誰かのパソコンが常時起動している必要はない。結果はCSVファイルとして出力することも、そのままダッシュボード（情報表示画面）に送ったり、Slackなどのチャットツールに通知したりすることも可能だ。

このAPIを使ったワークフローには、Screaming Frogにはない多くの利点がある。

まず、「履歴比較」だ。APIサービスは、実行されたすべての監査結果を保存してくれる。そのため、毎週同じWebサイトを監査すれば、各URLのSEOスコアの変動を時系列で追跡し、自動的に前週からの変化（デルタ）を表示できる。Screaming Frogでは、過去のCSVファイルをすべて手動で保存し、手作業で比較する以外にこのような履歴追跡は不可能だ。

次に、「構成可能性（Composability）」、つまり他のシステムとの連携のしやすさだ。APIから得られる監査結果はJSON形式なので、他のあらゆるシステムに簡単に組み込むことができる。例えば、WebサイトのSEOスコアが一定のポイント以上下がった場合に、自動的にSlackにアラートを送信するシステムを構築できる。毎月のクライアント報告用に、監査履歴から自動的にトレンドチャートを含むHTMLダッシュボードを生成することも可能だ。また、Webサイトが更新されて新しいバージョンが公開された際に、自動的にSEO監査をトリガーするといった、継続的なインテグレーション（CI）パイプラインとの連携も容易になる。

「サイドバイサイド比較」もAPIの得意分野だ。2つの異なるURLを並行して監査し、その違いを自動で比較する機能がある。これは、クライアントと競合サイトのSEOを比較して提案書を作成する際や、Webサイトのリニューアル前後でSEOにどのような変化があったかを確認する際、さらにはA/Bテスト（2つの異なるバージョンを比較するテスト）の前後で違いを検証する際に非常に役立つ。

さらに、APIサービスの中には、Screaming Frogでは提供されていない高度な分析機能を持つものもある。例えば、AI（人工知能）がコンテンツをどのように読み取るかを評価する「AI可読性スコアリング」や、地域ごとのSEO最適化（GEOスコアリング）など、従来のSEOツールの範疇を超える分析が可能だ。これらはLLM（大規模言語モデル）の進化によって可能になった新しい分析カテゴリであり、Screaming Frogのようなデスクトップアプリケーションには搭載されていない機能だ。

「共有可能なレポートとバッジ」も大きな利点である。APIで監査された各URLには、公開可能なレポートURLや、SEOスコアを示すSVG形式のバッジが発行される。このバッジをクライアントへの提案資料に貼り付けたり、レポートURLをメールで送ったりすることで、クライアントとの情報共有が格段にスムーズになる。Screaming Frogの出力はアナリストしか見ないCSVファイルであるため、このような外部共有機能はない。

コスト面でも、APIベースのワークフローは長期的に見てメリットが大きい。Screaming Frogのライセンスは1人あたり年間約250ドルだが、APIサービスは利用規模に応じたティア制を採用している。例えば、年間約468ドルのProプランでは、月間5,000回の監査が可能で、10〜20のクライアントを毎週監査するような専門企業に適している。もし2人のアナリストがScreaming Frogを使っている場合（年間合計500ドル）、APIのProプランに切り替えることで、同等以上の監査範囲をより低いコストで実現できる上に、上述したAPIならではの多くの機能も利用できることになる。さらに大規模な企業で4〜5人のアナリストがScreaming Frogを使っている場合（年間合計1,200ドル）、APIのUltraプラン（年間約1,188ドル）は、無制限の履歴保存機能なども含め、コスト面でも機能面でも優位に立つ。概ねScreaming Frogのライセンスが3シートを超えるあたりから、APIの方が安価で高性能になる傾向がある。

もちろん、APIがScreaming Frogのすべてのユースケースを完全に代替するわけではない。Screaming Frogが依然として優位なのは、サイトマップが不完全であったり、全く存在しないWebサイトをクロールする場合だ。Screaming Frogはリンクをたどって発見するため、サイトマップに依存しない。また、古いドメインが最終的にどこにリダイレクトされたかを追跡したり、各ページのあらゆるプロパティを一括でCSVに出力し、一度だけ深く監査したい場合、あるいはレガシーなWebサイトの移行プロジェクトで、コンテンツのハッシュ値（コンテンツの内容から計算される一意の識別子）を使って古いURLと新しいURLをマッピングするような、一回限りの特殊なニーズにはScreaming Frogが適している。

重要なのは、ツールを使い分けることだ。Screaming Frogを完全に排除するのではなく、その強みが生かせる特定のシナリオでのみ利用し、毎週行うような定常的な監査や複数のクライアントにわたる作業、Webサイトのデプロイ（公開）ごとのチェックなど、Screaming Frogが設計されていない用途で利用し続けることで発生するコストや非効率性を解消することが目的だ。

Screaming FrogからAPIファーストのワークフローへ移行する具体的なステップとしては、まず最も手間のかかっているクライアントを選び、APIで監査してみて、これまでのScreaming Frogの結果と比較し、自分の目的に合った網羅性があるかを確認する。次に、毎週実行される自動化ジョブを設定する。例えば、サーバーの定期実行機能（Cron）とPythonスクリプト、Slackへの通知を組み合わせることで、自動的な監視システムを構築できる。その後、四半期ごとのクライアント報告にAPIの出力結果を活用する。APIが提供する共有可能なHTMLレポートやバッジ、履歴データから生成されるトレンドチャートを積極的に利用する。最終的には、Screaming Frogは、年2回程度のディープな一回限りの監査や、サイトマップに問題がある特殊なサイトの調査といった、その発見能力が不可欠な場合に限定して使用するようにする。

多くの専門企業では、この移行によってWebクローラーの稼働時間の8割から9割がAPIベースに移行し、Screaming Frogはごく一部の特殊なケースでのみ利用されるようになるという。結果として、全体的なコストは削減され、処理能力は向上し、アナリストは夜間にクローラーを動かすような作業から解放され、実際の課題解決や改善策の立案といった、より価値の高い業務に時間を割けるようになる。

この新しいアプローチは、一人でSEO業務を行う個人や小規模な専門家であれば、月15ドルのBasicプランで週次で3〜5サイトをカバーできる。さらに大規模な専門企業でScreaming Frogがボトルネックになっている場合は、月39ドルのProプランが最適な選択肢となるだろう。そして、30以上のクライアントを抱える大規模な専門企業には、月99ドルのUltraプランが、ライセンスコストの問題を根本的に解決し、高度な機能を提供してくれる。APIは、単なる技術的なインターフェースにとどまらず、ビジネスプロセスそのものを変革し、自動化とデータ活用を促進する重要な要素なのだ。