【ITニュース解説】Snowflakeにおける非構造化データを構造化データに変える選択肢

私たちの周りには、日々膨大な量のデータが生み出されている。これらのデータは、大きく分けて「構造化データ」と「非構造化データ」の二種類に分類できる。システムエンジニアを目指す上で、この違いを理解することは非常に重要だ。

構造化データとは、データベースの表のように、あらかじめ決められた形式や構造に従って整理されているデータのことだ。例えば、顧客の名前、住所、電話番号といった情報が、それぞれ決まった列にきちんと格納されている表計算ソフトのデータや、リレーショナルデータベースのデータがこれにあたる。コンピューターはこの形式のデータを簡単に読み込み、検索し、分析できる。

一方、非構造化データとは、そのような厳密な形式や構造を持たないデータのことを指す。代表的な例としては、PDF文書、画像ファイル、音声ファイル、Webページの記事、電子メールの本文などが挙げられる。これらのデータは人間にとっては理解しやすいが、コンピューターがその中身の意味を直接理解して分析するのは非常に難しい。例えば、PDF形式の契約書の中から「契約開始日」という特定の情報を見つけ出すのは、コンピューターにとっては簡単なことではない。

多くの企業では、請求書、契約書、診断書、顧客からの問い合わせメールなど、業務上重要な情報の大部分が非構造化データとして存在している。これらの非構造化データの中に埋もれている価値ある情報を手作業で探し出し、構造化データとしてデータベースに入力する作業は、時間と労力がかかり、ヒューマンエラーの原因にもなっていた。

そこで注目されているのが、Snowflakeというクラウドベースのデータウェアハウスサービスだ。Snowflakeは大量のデータを高速に処理・分析できるプラットフォームで、近年、この非構造化データから情報を抽出し、構造化データへと変換する新しい機能を次々に提供している。これにより、これまで活用が難しかった非構造化データの活用が一気に現実味を帯びてきた。

Snowflakeが提供する主要な機能は、「AI_PARSEDOCUMENT(OCR)」、「AI_PARSEDOCUMENT(LAYOUT)」、「AI_EXTRACT」だ。これらは連携して動作し、非構造化データ、特にPDFなどの文書ファイルから効率的に情報を抽出することを目的としている。

まず、「AI_PARSEDOCUMENT(OCR)」について説明する。OCRは「Optical Character Recognition（光学文字認識）」の略で、画像化された文字をコンピューターが認識できるテキストデータに変換する技術だ。例えば、スキャンされたPDF文書のように、文字が画像として埋め込まれている場合、この関数が画像を解析し、そこに含まれる文字情報をテキストデータに変換する。これにより、コンピューターが文字として認識できなかった文書の内容が、テキストとして扱えるようになる。

次に、「AI_PARSEDOCUMENT(LAYOUT)」がある。この関数も文書からテキストを抽出するが、単に文字を認識するだけでなく、文書全体のレイアウトや構造を考慮して情報を抽出する点が特徴だ。見出し、本文、表、リストといった文書の構成要素を理解しながらテキストを抽出し、それらの関係性も把握しようとする。これにより、単なる文字の羅列ではなく、文書の意味的な構造を保った形でテキストデータを得られる。特に、テキスト情報が埋め込まれているネイティブPDFや、複雑なレイアウトの文書に適している。これらのAI_PARSEDOCUMENT関数は、文書の内容をコンピューターが読み取りやすいテキストデータに変換する「前処理」の役割を果たす。

そして、これらのAI_PARSEDOCUMENT関数で抽出されたテキストデータから、実際に必要な情報を構造化データとして抜き出すのが「AI_EXTRACT」関数だ。AI_EXTRACTは、大規模言語モデル（LLM）の技術を基盤としており、人間が自然な言葉で指示するように、何を抽出したいかを指定できる。例えば、「このテキストから顧客の名前と請求金額をJSON形式で抽出してください」といった指示を出すと、それに従って関連情報を抜き出し、指定された構造化された形式（例えばJSONやCSVのような形式）で出力してくれる。これにより、手作業で行っていたデータ入力作業を自動化し、効率化できるのだ。

記事の冒頭に出てくる「Document AI」という言葉は、これらのAI_PARSEDOCUMENTやAI_EXTRACTといった複数の機能を総称する、あるいはこれらを連携させて非構造化文書を処理するためのソリューション全体のことを指す場合が多い。つまり、Document AIは単一の機能ではなく、非構造化文書から情報を抽出し、活用するための一連の技術やプロセス全体を指す概念と理解すると良い。

これらの機能は、多岐にわたるビジネスシーンで活用が期待される。例えば、金融機関では、顧客から提出される融資申込書や本人確認書類のPDFから、氏名、生年月日、住所といった顧客情報を自動的に抽出し、既存の顧客管理システムに登録する作業を効率化できる。医療分野では、患者の診療記録や検査結果のPDFから、病名、処方薬、検査値などを抽出し、匿名化されたデータを分析して治療効果の改善に役立てることが可能になる。また、一般的な企業では、取引先から送られてくる請求書や納品書のPDFから、商品名、数量、単価、合計金額などを抽出し、会計システムへの入力作業を自動化することで、人的ミスを減らし、業務の迅速化を図れる。

これらの新しい機能を利用する際にはコストが発生する。Snowflakeでは、コンピューターリソースの利用量に応じて「クレジット」という単位で料金が計算される。AI_PARSEDOCUMENT関数は、処理するPDFのページ数に基づいてクレジットが消費される。例えば、1ページあたりの料金が設定されており、大量のページを処理すればするほどコストは増加する。一方、AI_EXTRACT関数は、処理するテキストの文字数に基づいてクレジットが消費される。大量の文字を含む文書から情報を抽出する場合や、より多くの情報を抽出する指示を出す場合に、より多くのコストがかかる可能性がある。これらのコストはSnowflakeの公式ドキュメントで詳細な単価を確認できるため、利用する前に想定されるデータ量と処理回数からおおよそのコストを見積もることが重要だ。

Snowflakeが提供するこれらの非構造化データ処理機能は、これまで活用が難しかった文書データの中に埋もれていた価値ある情報を、コンピューターが分析しやすい構造化データとして抽出し、さらに分析や業務プロセスに活用することを可能にする。これにより、企業のデータに基づいた意思決定を強力に支援し、業務の自動化と効率化を大きく推進する。システムエンジニアを目指す皆さんにとって、このような新しい技術トレンドを理解し、適切に活用するスキルは、これからのデータ活用がますます重要となる時代において、非常に大きな価値を持つこととなるだろう。