Webエンジニア向けプログラミング解説動画をYouTubeで配信中!
▶ チャンネル登録はこちら

【ITニュース解説】Blinkit Scraper in Python: Prices and Stock per Dark Store

2026年11月04日に「Dev.to」が公開したITニュース「Blinkit Scraper in Python: Prices and Stock per Dark Store」について初心者にもわかりやすく解説しています。

作成日: 更新日:

ITニュース概要

BlinkitからPythonで商品の価格や在庫をスクレイピングする方法を解説。Cloudflareブロック、位置情報による変動、POST APIへの切り替わりという課題を、プロキシとヘッダー設定で攻略。コード例や初心者向けライブラリも紹介する。

ITニュース解説

システムエンジニアを目指す初心者の皆さん、今回は「Webスクレイピング」という技術を使って、インドのオンライン食料品店「Blinkit」から商品データ(価格や在庫など)を自動で収集する方法について解説する。Webスクレイピングとは、インターネット上のウェブサイトから、プログラムを用いて必要な情報を自動的に抽出する技術のことだ。大量のデータを手作業で集める手間を省き、効率的に情報を得るために利用される。

Blinkitのウェブサイトから商品情報を取得しようとすると、いくつかの技術的な課題に直面する。まず一つ目は、「Cloudflare」というセキュリティシステムによるアクセス制限だ。多くのウェブサイトは、プログラムによる自動アクセス(ボット)から自身を守るために、Cloudflareのようなサービスを導入している。そのため、Pythonのrequestsライブラリを使ってBlinkitのウェブページに直接アクセスしようとすると、「HTTP 403 Forbidden」というエラーが返され、ページの内容を取得できない場合が多い。これは、ウェブサイト側が私たちのプログラムを「正規のユーザーではない不正なアクセス」と判断しているためである。

このアクセス制限を回避する一般的な方法の一つとして、「Scrape.do」のようなプロキシサービスを利用する方法がある。プロキシサービスは、私たちの代わりにウェブサイトへアクセスし、その結果を私たちに返してくれる仲介役だ。Scrape.doのようなサービスは、世界中に分散された様々なIPアドレス(インターネット上のコンピューターを識別する番号)を持つ「住宅用プロキシ」と呼ばれるサーバー群を利用する。これにより、Blinkit側からはScrape.doの正規の利用者がアクセスしているように見え、ブロックを突破しやすくなる。特に今回はインドのサービスなので、インド国内のIPアドレスを持つプロキシを利用することが有効だ。ただし、これらのプロキシサービスは通常、利用ごとに費用が発生する。

二つ目の課題は、「地域によって表示される商品情報が異なる」という点だ。Blinkitのような宅配サービスでは、ユーザーの配送場所(緯度と経度)に基づいて、商品を届ける「ダークストア」(店舗を持たない配送専用の倉庫)が決まる。その結果、同じ商品カテゴリでも、アクセスする地域によって取り扱い商品、価格、在庫数が大きく変動する。ウェブサイトは通常、ユーザーのブラウザに保存されたクッキー(gr_1_latやgr_1_lonといった緯度・経度情報)を読み取り、それに合わせた情報を表示する。そのため、特定の地域の情報を正確に取得するには、スクレイピングを行う際に、クッキーやHTTPヘッダーに目的の地域の緯度・経度情報を設定してリクエストを送る必要がある。Scrape.doのようなサービスを使えば、これらのクッキーやヘッダーも簡単に設定して送信できる。

三つ目の課題は、「商品データの取得方法が途中で切り替わる」という点である。Blinkitのカテゴリページを最初に開いた際、最初の約30個の商品情報は、ウェブページのHTMLの中に直接埋め込まれたJSON形式のデータ(window.grofers.PRELOADED_STATEというJavaScript変数内)として提供される。しかし、それ以降の商品、例えば31番目以降の情報を取得するには、単にページを読み込むだけでは表示されず、別の「POST API」と呼ばれる特別なウェブサービスにリクエストを送る必要がある。このAPIは1回のリクエストで約15個の商品情報を返し、さらに次の商品を取得するためのURLも教えてくれる仕組みだ。そのため、必要な数の商品情報を集めるには、このPOST APIへのリクエストを繰り返すことになる。このAPIリクエストでも、緯度・経度情報をHTTPヘッダーに含めることが重要となる。

これらの課題を克服してデータを取得する具体的な手順は、以下のようになる。まず、指定したURLと、目的の地域を示すクッキー(緯度・経度情報)をScrape.do経由でBlinkitに送信し、ウェブページのHTML全体を取得する。次に、取得したHTMLの中からwindow.grofers.PRELOADED_STATEというパターンを探し出し、その中に格納されているJSONデータを抽出する。このJSONデータから、商品ID、商品名、ブランド、価格、在庫数、評価、店舗IDなどの必要な情報を抜き出す。例えば、「7 lac」と表記される評価数はインドの単位なので、これを「700,000」という数値に変換する処理も必要になる。

最初のページから得られた商品情報に加えて、さらに次の商品を取得するために、POST APIのURLを特定し、これに対して緯度・経度情報をヘッダーに含めたPOSTリクエストを送信する。APIからの応答もJSON形式で返されるため、同様に解析して商品情報を抽出し、既に追加した情報と重複しないようにしながら結合していく。この作業を繰り返すことで、カテゴリ内のすべての商品情報を集めることが可能だ。集めたデータは、最終的にCSV(Comma Separated Values)形式のファイルとして保存し、表計算ソフトなどで閲覧・分析できるようにする。

カテゴリ内の商品情報だけでなく、個別の商品ページからも、さらに詳細な情報を取得できる。例えば、食品安全に関するライセンス番号(FSSAI License)、商品の賞味期限(Shelf Life)、原産国といった情報は、個別の商品ページにアクセスし、同様にHTML内のJSONデータから抽出可能だ。これらの詳細データは、市場調査や競合分析において非常に価値のある情報となる。

このような一連のスクレイピング作業は、一度Pythonでコードを記述してしまえば、自動的かつ継続的にデータを収集できる強力なツールとなる。この技術は、「blinkit-scraper」というオープンソースのPythonライブラリとしても提供されており、都市のプリセットやリトライ機能、CSV出力機能が組み込まれているため、初心者でも比較的簡単にBlinkitのデータを収集できる。また、ノーコードでスクレイピングを試せるApifyや、ブラウザでデモを体験できるHugging Faceといったツールも提供されている。

Webスクレイピングを行う際には、技術的な側面だけでなく、いくつか重要な注意点がある。一つは、ウェブサイトの「robots.txt」というファイルを尊重することだ。このファイルには、ウェブサイトの管理者がボットによるアクセスを許可する範囲が記述されており、これに従うことが求められる。今回のスクリプトは、Blinkitのrobots.txtで許可されているカテゴリページや商品ページ、およびそれらが内部的に呼び出すAPIのみを対象としており、検索、カート、決済、アカウントといった機密性の高いパスには触れないように配慮されている。また、取得するデータが個人情報ではないことを確認し、ウェブサイトに過度な負荷をかけないよう、リクエストの頻度を控えめにし、倫理的な利用を心がける必要がある。システムエンジニアを目指す上では、こうした倫理的・法的側面への配慮も非常に重要となる。

関連コンテンツ

関連IT用語