【ITニュース解説】Get new UK planning applications near any postcode as a weekly spreadsheet (no code)

英国では、新しい建築許可申請に関する情報は、地域ごとの地方自治体がそれぞれ独自のウェブサイトで公開している。これは、住宅建設業者やソーラーパネル設置業者、建築家、測量士、地方記者など、様々なプロフェッショナルにとって非常に重要な情報源だが、その情報の収集は手間がかかる作業だった。なぜなら、自治体ごとにウェブサイトのデザインや検索フォーム、データのエクスポート方法が異なり、広範囲の情報を効率的に集めることは困難だったからだ。この記事では、プログラミングの知識がなくても、これらの散在した建築許可申請データを一箇所に集約し、自分の必要な情報だけを毎週自動で受け取る方法を解説している。これは、システムエンジニアを目指す皆さんにとっても、データの自動収集と活用の面白さを知る良い機会になるだろう。

この仕組みの核となるのは、「Apify」というプラットフォームと、その上で動作する「Actor」と呼ばれるプログラムだ。Apifyは、ウェブからデータを収集したり、特定のタスクを自動化したりするためのクラウドサービスである。そしてActorは、Apify上で公開されている、特定の目的のために作られた小さなアプリケーションのようなものだと考えると良い。今回のケースでは、「UK Planning Applications Scraper」という名前のActorが利用される。これは、英国の地方自治体の建築許可申請データを自動で収集し、構造化された形で提供する役割を担う。このActorは、PlanItという英国の自治体計画データを集約する公開サービスからデータを取得しているため、多くの自治体の情報がカバーされている。

このActorを利用すると、次のような詳細な情報を含む建築許可申請データが、一行ごとに整理された状態で手に入る。具体的には、どの自治体からの申請か、固有の参照番号、申請対象の住所と郵便番号、申請内容の詳しい説明（例：「屋根設置型ソーラーパネル12枚の設置」）、申請の種類と規模（小・中・大）、現在のステータス（審査中、許可済み、条件付き許可、却下、取り下げなど）、申請受付日、有効化日、決定日、意見照会終了日といった各種日付情報だ。さらに、緯度経度情報や、元の自治体ウェブページへの直接リンクも含まれる。オプションとして、担当業者名、ケースオフィサー（担当職員）名、教区名、関連文書やコメントの数なども取得できる場合がある。これらの情報は、単にリストとして眺めるだけでなく、地図上にプロットしたり、特定の条件で絞り込んで分析したりすることで、ビジネス上の意思決定や市場調査に役立つ貴重なデータとなる。

では、実際にどのようにしてこのシステムを利用するのか、具体的な手順を見ていこう。

まずステップ1は、Apifyのプラットフォーム上で目的のActorを開くことだ。「UK Planning Applications Scraper」というActorをApifyのウェブサイトで検索し、「Try for free」というボタンをクリックする。Apifyアカウントをまだ持っていない場合は、無料で作成する必要がある。アカウント作成が完了すれば、すぐにActorを利用開始できる。

ステップ2は、どのような情報を、どこから取得したいかをActorに伝えるための設定だ。これは、JSON形式というデータ記述方法で入力する。JSONは、システム間でデータをやり取りする際によく使われる形式で、キーと値のペアで情報を表現する。例えば、「central Leedsから5km圏内で、過去14日間に申請された家屋増築に関する申請を最大200件まで取得する」という条件を設定したい場合、次のようなJSONを入力する。「search」には「extension」（増築）、「postcode」には「LS1 4AP」（リーズ中心部の郵便番号）、「radiusKm」には「5」（半径5km）、「recentDays」には「14」（過去14日間）、「maxItems」には「200」（最大件数200件）という具合に、それぞれの項目に値を入れる。他の便利なフィルターとして、特定の自治体名を指定する「authorities」、許可済みのものだけを見る「appState: "Permitted"」、大規模開発に絞る「appSize: "Large"」、特定の日付範囲で検索する「startDate / endDate」などがある。これらのフィルターを組み合わせることで、本当に必要な情報だけを効率的に抽出できる。

ステップ3は、Actorの実行結果をエクスポートする作業だ。設定した条件でActorの実行が完了すると、Apifyのウェブサイトにある「Output」タブに結果が表示される。ここから、CSV、Excel、JSONといった様々な形式でデータをダウンロードできる。また、ApifyにはGoogle Sheetsとの連携機能も用意されており、直接Google Sheetsにデータを送ることも可能だ。これにより、ダウンロードしたデータをすぐに表計算ソフトで開いて分析したり、他のメンバーと共有したりできる。

最後のステップ4は、このデータ収集プロセスを自動化し、毎週新しい申請情報だけを受け取れるように設定することだ。これは「incremental」という設定を有効にすることで実現する。この設定をオンにすると、Actorは以前に収集したデータの内容を記憶し、次回の実行時には、まだ見たことのない新しい申請データだけを抽出するようになる。これにより、毎回重複するデータを受け取ることなく、新鮮な情報だけを得られるため、無駄なコストも発生しない。さらに、Apifyのスケジュール機能を使って、例えば毎週月曜日の朝7時にActorが自動的に実行されるように設定できる。そして、Google Sheets連携やメール通知機能を追加すれば、毎週月曜の朝には、自分が設定した条件に合致する最新の建築許可申請のリストが自動的に手元に届くようになる。

このサービスにかかる費用は、基本的には結果として取得される申請データの件数に応じた従量課金制だ。Actorの利用に月額のサブスクリプション料金は発生せず、1件の申請データにつき約0.012ドル（約1,000件で12ドル）と、実行開始費用が1回あたり0.003ドルという非常に手頃な価格設定になっている。詳細情報を含むデータを取得する場合は、1件あたり0.02ドルとなる。毎週行うローカルな検索であれば、通常は数件から数十件程度のデータしか返ってこないため、コストは週に数十円程度で収まるだろう。Apifyの無料プランには毎月一定額のプラットフォームクレジットが含まれているため、まずは無料でこのシステムを試すことが可能だ。

プログラミングの経験があるシステムエンジニアを目指す方にとっては、このActorはさらに高度な使い方もできる。ApifyのAPI（アプリケーション・プログラミング・インターフェース）を通じて、自分の書いたコードからActorを直接呼び出して実行したり、取得したデータを他のシステムと連携させたりすることが可能だ。記事ではcurlコマンドを使ったAPI呼び出しの例も紹介されており、例えば、特定のキーワードと郵便番号、半径を指定して、過去の申請データをプログラムから取得し、その結果を別のデータベースに保存する、といった自動処理を構築できる。また、「outputFormat": "llm"」という設定を使うと、AIエージェントが理解しやすいコンパクトなMarkdown形式でデータを出力できるため、RAG（Retrieval-Augmented Generation）のようなAIを活用した情報検索や要約システムに組み込むことも可能だ。これは、将来的にAIをシステム開発に組み込むスキルを磨く上でも、非常に実践的な応用例となる。

ただし、このサービスを利用する上での注意点もある。データのカバー範囲や鮮度は、元データを提供しているPlanItおよび各自治体の更新頻度に依存するため、一部の自治体では情報の更新が遅れる場合がある。また、このサービスで取得できる情報は公開されている計画データではあるが、もしこれを個人の申請者への連絡などに利用する場合、英国のGDPR（一般データ保護規則）やPECR（プライバシーおよび電子通信規則）といった個人情報保護に関する法律を遵守する必要がある。特に、申請者の住所をマーケティング目的のリストとして扱うべきではないという警告が示されている。データの活用はあくまで倫理的かつ法的な枠組みの中で行うべきだ。

この仕組みは、手作業で行われていた情報収集作業を大幅に効率化し、常に最新で関連性の高い情報を自動で手に入れることを可能にする。プログラミングの知識がなくても高度なデータ収集システムを利用できることは、システムエンジニアを目指す皆さんにとって、自動化の価値やデータの持つ力を実感する良い機会になるだろう。