【ITニュース解説】Finding FEMA-funded rebuild and mitigation projects before they go to bid (OpenFEMA)

アメリカ合衆国では、大規模な自然災害が発生した後、連邦緊急事態管理庁（FEMA）が被災地の復旧と将来の災害に備えるための資金を、地方自治体や公共事業体などに提供している。この資金は、破壊された道路や橋の修理、上下水道インフラの再建、公共施設の復旧といった、災害からの直接的な復旧作業に使われる。それだけでなく、建物の基礎を高くして浸水被害を防ぐ工事、排水システムの改良、災害時のための非常用発電機の設置、建物の耐震補強、山火事のリスクを減らすための作業など、将来の被害を軽減するための予防的なプロジェクトにも充てられる。これらのプロジェクトの多くは、実際に企業が入札を募集する何ヶ月も前の段階で、すでにFEMAから資金が提供されることが決定している場合が多い。

FEMAは、このような資金提供に関する情報を「OpenFEMA API」という形で一般に公開している。APIとは、プログラムが別のプログラムと情報をやり取りするための窓口のようなもので、これを利用することで、FEMAが保有する様々なデータにアクセスできるようになる。建設業者やエンジニアリング会社、あるいはその他公共部門でのビジネスに関心のある企業にとって、このAPIは連邦政府から資金を得てプロジェクトを進める予定の機関のリストや、具体的なプロジェクト内容を事前に知るための非常に貴重な情報源となる。これは、新たなビジネスチャンスを発見したり、将来の事業計画を立てたりする上で、非常に有用なツールとなる。

OpenFEMA APIを通じて公開されている情報の中で、特に注目すべき二つのデータセットがある。一つ目は「Public Assistance (PA)」と呼ばれる、災害後にFEMAが資金提供を決定したすべての修理・交換プロジェクトに関するデータだ。このデータには、どのような種類の災害が原因か、プロジェクトがどの郡で実施されるか、プロジェクト全体の金額、そしてFEMAが負担する連邦政府の資金割合といった詳細が含まれている。二つ目は「Hazard Mitigation Assistance (HMA)」と呼ばれる、災害軽減のためのプログラムの申請状況に関するデータだ。これには、地震や洪水に強い地域を作るための「HMGP（Hazard Mitigation Grant Program）」や、より強靭なインフラとコミュニティを構築するための「BRIC（Building Resilient Infrastructure and Communities）」など、複数のプログラムが含まれる。HMAデータの中で特に重要なのは、プロジェクトが「申請中」「FEMAに提出済み」「承認済み」といった初期のステータスにあるものだ。これらのプロジェクトはまだ入札が開始されていない状態であり、将来の具体的な作業や契約機会につながる可能性を秘めている。

しかし、OpenFEMA APIから直接生データを取得し、それを活用しようとすると、いくつかの扱いにくい点がある。例えば、PAプロジェクトの記録では、資金を受け取る機関の名前が直接示されず、代わりに「申請者ID」という識別番号のみが記載されているため、このIDがどの機関を指すのかを別のデータソースで確認する手間が必要となる。また、PAとHMAという異なる二つのデータセットでは、「州」「郡」「金額」「ステータス」といった同じ意味を持つ情報であっても、それぞれ異なる名前のデータ項目（フィールド名）で表現されていることが多く、両方のデータを組み合わせて分析する際には、事前にデータ項目名を統一する作業が必要となる。さらに、APIから取得できるデータの量が非常に多い場合、データは「ページング」という形で分割されて提供されるため、特定の州の全データを取得しようとすると、何万行ものデータを複数回に分けて取得し、それらをすべて結合する複雑な処理が必要になることがある。

これらの課題を克服し、手動でFEMAのデータを活用するには、いくつかの具体的なステップが求められる。まず、FEMAが提供するAPIエンドポイント（fema.gov/api/open）に対して、対象となる州や日付で絞り込みながら、PAプロジェクトとHMA申請の両方のデータを問い合わせる。次に、$skipや$topといったパラメータを使って、ページングされた結果をすべて取得し、漏れなくデータを集める。その後、PAプロジェクトのレコードに含まれる申請者IDを利用して、別途提供されている申請者データセットから実際の機関名や住所情報を検索し、PAプロジェクトデータと結合させる作業を行う。最後に、PAとHMAの二つのデータセットで使われている異なるフィールド名を統一し、両方のデータが同じ構造の一つのテーブルに収まるように正規化する。これらの手動でのデータ処理は、データの量が増えるほど時間と労力を要し、プログラミングやデータ処理のスキルが求められる作業となる。

このような複雑なデータ処理のステップを簡素化し、より多くの人がFEMAのプロジェクト情報を簡単に活用できるようにするため、記事の著者は「FEMA Disaster Recovery & Mitigation Projects」というApify Actorを開発した。Apify Actorとは、ウェブからのデータ収集や処理を自動化するための特定のタスクを実行するプログラムのことだ。このツールを使用することで、手動で行っていた上記の一連のデータ取得、結合、正規化といった作業を自動的に実行できるようになる。具体的には、PAとHMAの両方のデータセットを自動的に取得し、申請者IDから実際の機関名を特定し、さらに二つのデータセットのフィールド名を統一して、最終的に一つの分かりやすい表形式のデータとして出力してくれる。利用者は、この統合されたデータに対して、州、プログラムの種類、プロジェクトのステータス、金額などの条件で簡単にフィルタリングをかけることができ、その結果をCSVファイルやExcelファイルとして容易にエクスポートできる。これにより、システムエンジニアを目指す初心者でも、複雑なAPIの操作やデータ処理に関する深い知識がなくても、FEMAの重要なプロジェクト情報を効率的に利用できるようになる。

ただし、OpenFEMA APIを通じて、あるいはApify Actorのようなツールを通じて得られる情報は、「FEMAがそのプロジェクトに資金提供をコミットした」という事実を示すものであり、それが直ちに「明日から入札できる具体的な契約」を意味するわけではない点に注意が必要だ。この情報は、どの機関が、どのような種類のプロジェクトに、どの程度の連邦資金を費やす予定があるのかという、早期段階の計画を示している。したがって、このリストを利用して、関心のある機関やプロジェクトを特定した後、実際に契約を獲得するための入札機会を探すには、各機関が個別に公開する調達情報や入札告知に注意を払う必要がある。FEMAの資金がコミットされた後も、実際にプロジェクトが始動し、入札が行われるまでには、さらに詳細な計画の策定や承認プロセスが必要となるため、粘り強く情報収集を続けることが成功への鍵となる。このように、公開されたデータを活用し、その後の情報追跡に繋げるという一連のプロセスは、データに基づいて意思決定を行う能力を養う上で非常に良い実践の場となるだろう。