【ITニュース解説】How to scrape 100 search results on Google (num parameter)

ウェブ上の情報は日々膨大に増え続けており、その中から特定の情報を効率的に集めることは、ビジネスや研究において非常に重要だ。特に、世界最大の検索エンジンであるGoogleの検索結果は、市場の動向、顧客のニーズ、競合他社の戦略などを知る上で欠かせないデータ源となる。このような情報をプログラムを使って自動的に収集する技術を「スクレイピング」と呼び、システムエンジニアを目指す皆さんにとっても基礎的な知識となる。そして、このスクレイピングをより簡単に行うための仕組みが「API」だ。APIとは、異なるソフトウェアやサービス同士が連携するための窓口のようなもので、これを使うことで、複雑なウェブサイトの構造を直接解析する手間なく、必要なデータを受け取ることができる。

最近、Googleの検索結果取得に関して、業界に大きな影響を与える変更があった。これまで、多くのSEO（検索エンジン最適化）専門家やデータ企業、研究者たちは、Googleの検索URLに「num=100」という特別なパラメーター（URLの一部として渡す情報）を追加することで、1ページあたり最大100件の検索結果を表示させ、効率的にデータを収集していた。しかし、Googleはこのnumパラメーターのサポートを突然停止した。この変更は、長年確立されてきた大規模なデータ収集、競合他社のウェブサイト分析、キーワード調査といった作業の流れを根本から覆し、これらの作業の効率を著しく低下させることになった。多くの企業が、これまでのように一度に多くの情報を得られなくなり、データの正確性や網羅性が損なわれる事態に直面している。

このような状況の中、SerpApiという企業が、この問題を解決するための新しいAPI、「Google Fast Light API」を発表した。このAPIを利用すれば、Googleがnumパラメーターのサポートを終了した後でも、以前と同様に100件の検索結果を一度に取得できるようになる。これは、データ収集に携わる多くの人々にとって朗報だ。Google Fast Light APIの最大の特徴は、たった1回のGETリクエスト（ウェブサーバーに情報を要求する最も基本的な方法）で、Googleから100件の検索結果を効率的にスクレイピングできる点にある。さらに、このAPIは、ウェブサイトへの自然なリンクとして表示される「オーガニック結果」と呼ばれる検索結果に特化しているため、SerpApiが提供する通常のGoogle Search APIと比較して、より高速にデータを取得できるというメリットがある。

具体的にこのAPIを使用する方法は非常にシンプルだ。指定されたURLに、検索したいキーワードと自分専用のAPIキーを含めてリクエストを送るだけでよい。例えば、コーヒーに関する検索結果を取得したい場合は、https://serpapi.com/search.json?engine=google_light_fast&q=coffee&api_key=YOUR_API_KEY&num=100という形式のURLにアクセスする。ここで、「coffee」の部分を任意の検索キーワードに置き換えることで、様々なクエリ（検索要求）に対する100件のオーガニック検索結果を瞬時に手に入れることができる。APIキーは、SerpApiのウェブサイトで無料で登録することで取得できる、利用者識別のための特別な文字列だ。このキーをURLに含めることで、API側はどのユーザーからのリクエストかを識別し、適切なサービスを提供することができる。

ただし、Google Fast Light APIは「オーガニック結果」に特化しているため、Googleの検索結果ページに表示される「AI概要回答」や「ナレッジグラフ」（特定の情報がボックス形式で要約されて表示される部分）といった「リッチな検索結果」は含まれないことに注意が必要だ。もし、これらのリッチな情報と100件のオーガニック結果の両方が必要な場合は、少し工夫が必要になる。この場合でも、SerpApiは解決策を提供している。具体的には、新しく導入されたGoogle Fast Light APIを使って100件のオーガニック結果を1回の検索で取得し、その後、従来のGoogle Search APIを使ってリッチな検索結果を取得するという、合計2回の検索で必要な情報をすべて手に入れることができる。これまでの方法であれば、100件の結果を得るために複数ページをたどる「ページネーション」という複雑な処理を行ったり、あるいは10回もの検索リクエストを繰り返したりする必要があったが、新しいAPIを活用することで、このような手間をかけずに、効率的かつ網羅的にデータを収集できるようになったのだ。

このGoogleのnum=100パラメーターの廃止は、特にクライアントにSEOのランキングデータを提供する必要がある多くのSEO企業にとって、非常に大きな影響を与えた。この変更に対応できない検索APIプロバイダーは多く、結果として、そのプラットフォーム上で提供されるデータに多くのエラーや誤情報が生じる事態を招いている。このような問題は、業界の専門家たちの間でも広く認識されており、X（旧Twitter）上では、Search Engine Roundtableの創設者であるBarry Schwartz氏や、独立系SEOコンサルタントのBrodie Clark氏といった著名な検索エンジン専門家たちが、この問題について何度も言及している。このことからも、今回のGoogleの変更が、いかに業界にとって重要な課題であったかがわかるだろう。

したがって、クライアントのSEOランキングをプログラムで自動的に追跡したいと考えているSEO企業や、Googleからよりリアルタイムのデータを得たいと願っているAI企業にとって、この新しいGoogle Fast Light APIは非常に価値のある解決策となる。システムエンジニアを目指す皆さんにとって、このようなAPIを理解し、活用できる能力は、これからのIT社会でデータドリブンな意思決定を支援したり、新しいサービスを開発したりする上で、非常に重要なスキルとなるだろう。ウェブ上の大量の情報を効率的に収集し、分析する技術は、今後ますますその重要性を増していくに違いない。