Webエンジニア向けプログラミング解説動画をYouTubeで配信中!
▶ チャンネル登録はこちら

【ITニュース解説】Pipe any Apify dataset into Google Sheets (and read a sheet back as JSON)

2026年11月04日に「Dev.to」が公開したITニュース「Pipe any Apify dataset into Google Sheets (and read a sheet back as JSON)」について初心者にもわかりやすく解説しています。

作成日: 更新日:

ITニュース概要

ApifyのデータをGoogle Sheetsに自動出力し、逆にSheetsデータをJSONとして読み込む方法を解説。公開シートのCSV読み込みから、APIでの書き込み、Apifyツール活用まで、初心者向けに手順とヘッダー処理、重複排除などの注意点を詳しく説明する。

ITニュース解説

データスクレイピング(Webサイトから情報を集めること)など、ITの仕事では集めたデータをGoogle Sheetsのようなスプレッドシートに整理したい場面が頻繁にある。たとえば、採用担当者が新しい求人情報を、マーケターが競合サイトのURLリストを、事業家が潜在顧客のリストを欲しがるケースだ。スプレッドシートはデータを並べ替えたり、コメントを付けたりするのに非常に便利だからだ。また、その逆で、スプレッドシートに整理された情報(ドメイン名、キーワード、商品IDなど)を、次の処理のためにプログラムが扱いやすいJSON形式に変換したいというニーズもある。この記事では、これらのデータ連携をどう実現するか、具体的な3つの方法と、その際に多くの人がつまずきやすい点について詳しく説明する。

最も簡単な方法は、公開されているGoogle SheetsからCSV形式で直接データを読み込むことだ。もしGoogle Sheetsが「リンクを知っている全員が閲覧可能」に設定されていれば、特別なAPIキー(プログラムがサービスにアクセスするための鍵)は必要ない。各シート(タブ)には、CSV形式でデータをエクスポートするための専用URLが存在する。このURLに対してプログラムからリクエストを送るだけで、シートの内容をCSVデータとして取得できる。取得したCSVデータは、Pythonなどのプログラミング言語にあるCSVモジュールを使えば、簡単に各行や列に分解して扱うことができる。これは手軽にデータを読み取るには便利だが、いくつかの制約がある。この方法は公開されているシートにしか使えず、書き込みは一切できない。また、取得できるのは書式設定されていない純粋なテキストデータのみで、たとえばセルに設定された色やフォントの情報は含まれない。

次に、より高度な操作、特にシートへのデータの書き込みを行いたい場合は、Google Sheets APIというGoogleが提供する機能を利用する必要がある。プログラムやサーバーからこのAPIを使う場合、一般的には「サービスアカウント」という仕組みを利用する。サービスアカウントは、あたかも人間がGoogleアカウントを持っているように、プログラムがGoogleサービスにアクセスするための専用のアカウントだ。 まず、Google Cloud PlatformというGoogleの開発者向けサービスでプロジェクトを作成し、Google Sheets APIを有効にする。次にサービスアカウントを作成し、そのアカウント専用のJSON形式のキーファイルをダウンロードする。このキーファイルが、プログラムがサービスアカウントとして認証されるための鍵となる。そして、データを書き込みたいGoogle Sheetsに対して、このサービスアカウントのメールアドレスを「編集者」として共有する。これは、まるで他の人とシートを共有するのと同じような感覚だ。共有する際には、通知を送るチェックボックスをオフにすることで、余計な通知を防げる。これで、プログラムからGoogle Sheets APIを通じて、シートに新しい行を追加したり(append)、既存のデータを上書きしたり(update)できるようになる。

しかし、実際に書き込みを行う際には、いくつか注意すべき点がある。プログラムが扱うデータはオブジェクトのリストのような形をしているが、APIはデータを2次元配列(行と列の表形式)として受け取る。このため、データからヘッダー行を正しく構築し、複数回実行しても列の順序が変わらないよう安定させる必要がある。また、後から新しい情報が増えて列が増える可能性も考慮し、柔軟に対応できるようにすべきだ。スクレイピングで取得したデータには、タグのリスト(例: ["a", "b"])や階層構造を持つデータ(例: address.city)が含まれることがある。Google Sheetsのセルは基本的には文字列しか格納できないため、これらのネストされたデータをそのまま書き込むことはできない。データを一つのセルにまとめる(文字列として連結する)、JSON形式の文字列として格納する、あるいは複数の列に展開する(例: tag1, tag2 のように分ける)といった処理が必要になる。同じスクレイピング結果を複数回シートに追加すると、データが重複してしまう可能性がある。これを避けるためには、新しいデータを書き込む前に、既存のシートの内容を一度読み込み、重複するデータがないかを確認して、必要に応じてスキップする処理が必要だ。APIで値を書き込む際、valueInputOptionでUSER_ENTEREDを選択すると、=IMPORTXML(...)のような文字列が数式として解釈されてしまう可能性がある。これは意図しない動作につながるため、信頼できないデータを書き込む場合は、RAWオプションを使って単なる文字列として書き込まれるように設定するべきだ。Google Sheetsにはセル数や文字数の上限があり、書き込み速度が速すぎるとエラーになることもあるため、まとめて書き込むバッチ処理やエラー時の再試行が必要となる。また、シート全体を置き換えたい場合は、「まず新しいデータを書き込み、その後で、書き込んだデータより下の残りの行をクリアする」という手順をとることが、データ損失のリスクを最小限に抑える安全な方法だ。

上記で説明したようなGoogle Sheetsとの連携における多くの複雑な課題は、開発者が一つ一つ実装すると非常に手間がかかる。そこで、これらの課題を解決し、より簡単に連携を実現するための「ホスト型ツール」という選択肢もある。Apifyが提供している「Google Sheets Import & Export」というツールはその一例だ。このツールは、先に述べたヘッダーの自動マージ、階層構造データの適切な処理、重複データの自動排除、意図しない数式注入を防ぐRAWオプションのデフォルト使用、そして安全なシート内容の置換といった機能を全て自動で処理してくれる。 このツールを利用する場合も、Google Sheetsをツールのサービスアカウントと共有するか、自身のサービスアカウントのキーをツールに設定する。簡単な設定で、Apifyでスクレイピングして得られたデータセットを、指定したGoogle Sheetsのタブに自動的に書き込むことが可能だ。たとえば、ウェブサイトのサイトマップからURLを抽出し、その結果をGoogle Sheetsに重複なく追加する、といった操作がツールを使うことで非常にシンプルに実現できる。同じデータを再度書き込もうとしても、ツールが自動で重複を検知し、既存の行はスキップされるため、無駄な処理やコスト発生も抑えられる。 また、Apifyツールを使えば、指定した範囲のGoogle Sheetsのデータを、JSON形式のオブジェクトとして簡単に取得することも可能だ。このとき、シートの1行目をデータ項目の名前(ヘッダー)として扱う設定や、セルの値を書式設定されていない生の数値として取得するオプションも利用できる。 さらに、このツールはコードを書かずに活用する方法もある。Apifyコンソール上で、他のスクレイパーの実行が成功した後にこのSheetsツールを自動で起動するよう設定できるため、スケジュールされたスクレイピング結果を常に最新の状態でGoogle Sheetsに同期させるといったことが可能だ。また、ApifyのAIエージェント機能と組み合わせることで、自然言語の指示一つで複数のツールを連携させ、高度なデータ連携を自動実行させることも可能となる。共有設定に問題があっても、エージェントがサービスアカウントのメールアドレスを教えてくれるため、スムーズに設定を修正できる。

関連コンテンツ

関連IT用語