【ITニュース解説】Automating Business Intelligence: How We Built a Multi-Agent AI System for Business Data Extraction

手作業によるビジネスデータの収集は、多くの組織にとって大きな課題となっている。例えば、競合他社500社の情報を四半期ごとに手動で調査しようとすると、各社のウェブサイトを訪れ、住所、業界分類、ビジネスモデルといった情報を一つずつ探し出す作業は膨大な時間を要する。わずか数時間で、調査できたのはごく一部の企業に過ぎず、そのデータの正確性も保証できないといった状況は珍しくない。このような手作業は非常に遅く、調査者によって異なる情報が抽出されるなど、一貫性にも欠ける。また、市販の汎用ツールでは、複雑なビジネスコンテキストを十分に理解できず、一般的なウェブスクレイピングでは、ビジネスのニュアンスを捉えた深い情報（インテリジェンス）を見逃してしまう問題がある。結果として、組織は何千時間もの調査に費やしながら、重要な意思決定が遅れたり、競合優位性を逃したりしているのが現状だ。

もしAIが人間のようにビジネスを理解し、ブランドを認識し、業界を分類し、場所を特定できるとすれば、しかもそれを機械の速度と規模で実行できたらどうだろうか。まさにこの課題を解決するために開発されたのが、「Business Insights」というマルチエージェントAIシステムである。これは、人間のレベルの精度で競合インテリジェンスの抽出を自動化することを目的としている。

Business Insightsは、企業がウェブサイトからビジネス情報を収集する方法を根本的に変革する自動データ抽出プラットフォームだ。手作業で企業データをスクレイピングし、処理するのに何時間も費やす代わりに、このマルチLLM（大規模言語モデル）エージェントシステムは、一度に数百ものウェブサイトを並行して処理し、数分で構造化されたビジネスプロファイルを抽出する。このシステムは、コンピュータービジョンモデル、大規模言語モデル、そしてそれらを連携させるインテリジェントなオーケストレーション（調整・管理）を組み合わせた特殊なマルチエージェントAIアーキテクチャに基づいて構築されており、人間レベルの理解力でビジネスデータを抽出し、さらにこれまでにない速度と規模でそれを実現する。

このプラットフォームは、包括的なビジネスインテリジェンスを可能にする四つの重要なデータ抽出ワークフローを提供する。一つ目は、加盟店カテゴリコード（MCC）を用いた精密なビジネス分類である。二つ目は、多段階の地理的検証を伴う包括的な住所抽出。三つ目は、自動化されたブランド資産検出と画像処理。そして四つ目は、これらを統合するインテリジェントなビジネスプロファイルの合成だ。汎用的なウェブスクレイピングツールとは異なり、Business InsightsのマルチLLMエージェントシステムは、インテリジェントなプロンプトエンジニアリング（AIへの指示の最適化）とモデルの専門化を通じてビジネスコンテキストを理解する。従来のソリューションが生のHTMLデータを抽出するのに対し、このシステムは、LLMの推論によってビジネスを分類し、複数の情報源による検証で住所を確定させ、コンピュータービジョンでブランド資産を処理するなど、構造化されたインテリジェンスを提供する。エージェント間の連携（オーケストレーション）は、手動抽出や基本的な自動化では達成できない信頼性とデータ品質を保証する。

インテリジェントなビジネスデータ抽出には複雑な課題が存在する。ルールベースの抽出システムは、ウェブサイトのデザイン変更に弱く、新しいコンテンツパターンに適応できない。手動によるデータ抽出は規模を拡大できず、人間の不一貫性や偏りを持ち込む。また、市販のツールは一般的なデータポイントを提供するだけで、インテリジェントな分類や検証を可能にするような、ビジネスの微妙なニュアンスを見逃してしまう。ウェブサイトから意味のあるビジネスデータを抽出することは、単なるウェブスクレイピングではなく、大規模なAI推論を必要とする。ウェブサイトの構造は一貫性がなく、コンテンツのレイアウトは多様であり、同じ情報が異なる方法で提示されることがある。例えば、レストランの住所はフッター、連絡先ページ、あるいは説明文の中に埋め込まれていることもある。ビジネスカテゴリも標準化されておらず、ある会社が「デジタルマーケティング」と名乗る一方で、別の会社は「グロースコンサルティング」と呼ぶが、どちらも同じMCC分類が必要になることがある。ブランド資産も、さまざまな形式、サイズ、コンテキストで異なるページセクションに現れる。

このシステムの核心は、そのマルチエージェントアーキテクチャにある。従来の単一LLMソリューションが、画像認識からテキスト分類まで、一つのモデルですべてをこなそうとする「スイスアーミーナイフ」のようなアプローチだったのに対し、Business Insightsは専門的なアプローチを採用している。各エージェントは、特定のタスク向けに最適化されており、そのタスクに合わせたプロンプト、モデル、処理ロジックを持つ。この専門化により、精度とコスト効率が劇的に向上する。例えば、複雑なマルチモーダル（複数のデータ形式）なプロンプトを高価なモデルに送るのではなく、視覚的なタスクは視覚に最適化されたエージェントに、テキスト関連のタスクは言語に特化したエージェントに振り分けられる。これにより、各エージェントはその専門分野のエキスパートとなり、より良い結果と低い運用コストにつながる。

このアーキテクチャの中心には、「Information Extraction Orchestrator（情報抽出オーケストレーター）」が存在する。これは、全体のワークフローを管理し、エージェントの実行を調整し、データ検証を処理し、リトライロジックを実装し、すべての専門エージェントからの出力フォーマットを一貫させる役割を担う。

具体的な専門エージェントとしては、「Brand Detection Agent（ブランド検出エージェント）」がある。これは、コンピュータービジョンとテキスト処理モデルを駆使して包括的なブランド分析を行う。ウェブサイトを処理する際、まずすべての画像を抽出し、サイズや位置のヒューリスティック（経験則）を用いて潜在的なブランド資産をフィルタリングする。これらの画像はその後、視覚要素と埋め込まれたテキストを同時に分析する視覚言語モデルを通して処理される。このエージェントの独自性は、そのマルチフィールド抽出アプローチにある。単にロゴを識別するだけでなく、会社名、ブランド説明、画像URL、位置情報コンテキストを一度に抽出する。ウェブサイトごとに数百の画像を処理し、高い信頼度で会社名を識別し、ヘッダー、フッター、ナビゲーション領域など、さまざまなページ要素から文脈情報を抽出する。

次に「MCC Classification Agent（MCC分類エージェント）」がある。これは、人間のビジネス分析を模倣した洗練された二段階のLLMアプローチを用いてビジネス分類に特化している。第一段階では、ビジネスモデル、ターゲット顧客、主要な活動を分析し、適切なMCCカテゴリの範囲を広く選択する。これにより、ビジネスコンテキストを理解せずに特定のコードに飛びつくという一般的な誤りを防ぐ。第二段階では、選択された範囲内で詳細な分類を実行する。ビジネスの運用、顧客との相互作用、収益モデルに基づいて広範なカテゴリ範囲を特定した後、第二段階では具体的なビジネス活動を分析し、代替のMCCコードを比較し、主要なビジネス機能に基づいて最も正確な分類を選択する。このエージェントの強みは、その比較分析にある。単にMCCコードを選択するだけでなく、代替案を評価し、その推論を説明する。複数の潜在的なコードが考慮され、系統的に比較され、最終的な選択の明確な根拠が提供される。

さらに「Address Extraction Agent（住所抽出エージェント）」がある。これは、インテリジェントな最適化と複数の情報源による検証を通じて機能する。まず、Brand Detection Agentがすでに住所情報を見つけているかどうかを確認し、重複する処理を避けながら、エージェント間のインテリジェンスを活用する。住所が利用できない場合、正規表現パターンと文脈分析を使用して、コンテンツから住所コンポーネントを特定するためのターゲットを絞ったコンテンツスキャンを実行する。このエージェントの洗練された点は、その検証パイプラインにある。潜在的な住所を抽出した後、Google Places APIを通じて地理コーディング検証を試み、正確性を確認し、座標を取得する。地理コーディングが失敗した場合でも、エージェントは住所を破棄せず、信頼度ペナルティを適用し、利用可能な最良の情報を使用する。複雑なシナリオでは、検索APIフォールバック（Google検索に会社名と抽出されたビジネス情報をクエリする）を採用する。この三層アプローチは、データ品質を維持しながら、最大限の住所取得を保証する。

Information Extraction Orchestratorは、効率を最大化し、データ品質を保証するインテリジェントなワークフロー管理を実装する。コンテンツ分析に基づいてエージェントの実行を調整し、Brand DetectionとMCC Classificationを並行して実行しながら、ブランド分析の結果に基づいてAddress Extractionを最適化する。この連携により、不要なAPI呼び出しと処理時間が削減される。エラー処理とリトライロジックは、すべてのレベルに組み込まれている。個々のエージェントの障害が、抽出プロセス全体をクラッシュさせることはない。オーケストレーターは、APIタイムアウトに対して指数バックオフ、処理障害に対して代替モデルフォールバック、データ重複時にはエージェント間のクロス検証を実装する。システムは、エージェント間の最適化とスマートなフォールバックを通じて抽出データを維持することで、完全なビジネスプロファイルを提供し、個々のコンポーネントが処理上の課題に遭遇した場合でも高い成功率を保証する。

このマルチエージェントシステムは、数千のウェブサイト抽出において一貫した測定可能な結果を提供する。プラットフォームは、完全なビジネスプロファイル抽出で96%という全体成功率を維持し、個々のエージェントのパフォーマンスは95%以上の精度を誇る。処理速度は、サイトの複雑さとコンテンツ量に応じて平均して1時間あたり75〜100ウェブサイトである。トークン使用量の最適化により、運用コストはウェブサイト抽出あたり0.012ドルに抑えられ、大規模な競合インテリジェンスを経済的に実行可能にする。

システムは、さまざまなウェブサイトタイプや業界で顕著な一貫性を示す。Eコマースサイト、サービス業、レストラン、プロフェッショナルサービスなど、すべてで同様の精度を達成している。ブランド検出は、識別可能な視覚資産を持つサイトの98%で成功し、MCC分類は多様なビジネスモデルにわたって95%の精度を維持する。住所抽出は、地理コーディング検証を含めて92%の成功率を達成し、未検証だが構造化された住所を含めると96%に達する。従来の単一LLMアプローチは、非効率なモデル使用と冗長な処理のため、ウェブサイトあたり0.05〜0.15ドルのコストがかかることが多いが、このマルチエージェントアーキテクチャは、インテリジェントなタスクルーティングとモデルの専門化により、コストを75%削減する。単純なテキスト抽出にはコスト効果の高いモデルを使用し、複雑な推論タスクは必要な場合にのみプレミアムモデルにルーティングされる。

トークン使用量の最適化は、コスト効率において極めて重要な役割を果たす。高価なモデルに膨大なプロンプトを送る代わりに、コンテンツを前処理し、関連情報をフィルタリングし、ターゲットを絞ったプロンプトを専門エージェントに送る。並列処理は逐次的なボトルネックを解消し、エージェント間の最適化は重複するAPI呼び出しを防ぐ。その結果、従来のコストのほんの一部でエンタープライズグレードの精度を実現する。処理速度の向上は、単に高速なハードウェアによるものではなく、アーキテクチャ上の決定から生まれる。並列エージェント実行により、ブランド検出、MCC分類、住所抽出が同時に可能になる。スマートなキャッシングは類似コンテンツの再処理を防ぎ、インテリジェントなリトライロジックは再処理を必要とする失敗した抽出を最小限に抑える。システムは利用可能なリソースに応じて線形にスケーリングする。単一スレッド処理では1時間あたり25〜30サイトを処理できるが、標準ハードウェアでの並列実行では1時間あたり75〜100サイトを達成する。オートスケーリングを備えたクラウドデプロイメントは、数千のウェブサイトを同時に処理でき、大規模な市場調査、競合分析、データベースの拡充プロジェクトに適している。

Business Insightsはオープンソースプロジェクトとして提供されており、包括的なドキュメントとセットアップガイドが付属する。リポジトリをクローンし、クイックスタートの手順に従うことで、数分でビジネスデータの抽出を開始できる。デモエンドポイントでは、本格的なデプロイメントの前に、自身のウェブサイトURLでシステムをテストできる。このプロジェクトは、コミュニティからの貢献によって進化していくことを目指している。複雑な国際ウェブサイトの処理、ニッチな業界での精度の向上、さらなるコスト最適化など、まだ解決すべき課題があると考えられている。バグの修正、新しいエージェント機能の追加、ドキュメントの改善など、あらゆる貢献がAIを活用したデータ抽出の進歩に役立つだろう。開発者は、GitHubリポジトリで貢献ガイドライン、未解決の問題、開発ロードマップを確認できる。このプロジェクトは、Haneeshraj Banisetti氏とJunwei Huang教授との共同開発によって実現された。