【ITニュース解説】Azure AI Document Intelligenceの前処理：Word/Excelのルビ（ふりがな）を除去する

Azure AI Document Intelligenceは、企業が日々扱う大量の書類から、必要な情報を自動で、そして効率的に抽出するための強力なクラウドサービスである。これは、システムエンジニアを目指す上で非常に重要な技術の一つで、たとえば契約書、請求書、申込書といったさまざまな形式のドキュメントから、テキスト、表、チェックボックスの状態などをデジタルデータとして取り出すことを可能にする。

このサービスは、単に文字を画像から読み取るOCR（光学文字認識）技術だけでなく、深層学習という高度なAI技術を組み合わせている点が特徴だ。OCRが「どこにどのような文字があるか」を読み取るのに対し、深層学習は「その文字が何の意味を持ち、どのような構造の一部か」を理解しようとする。これにより、例えば請求書であれば「顧客名」「合計金額」「日付」といった具体的な項目を、書類のレイアウトが多少異なっていても正確に識別し、構造化されたデータとして取り出すことができる。これは、手作業で書類から情報を入力する手間を大幅に削減し、業務の効率化とデータの正確性向上に大きく貢献する。

さて、本ニュース記事で特に注目されているのは、日本語の文書に特有の「ルビ」、すなわち漢字の上に振られる「ふりがな」の扱い、そしてその前処理についてである。Azure AI Document Intelligenceは非常に高性能だが、日本語のドキュメントで漢字にルビが振られている場合、このルビも「テキスト」として認識し、抽出してしまうことがある。例えば、「株式会社（かぶしきがいしゃ）」という表記があったとして、Document Intelligenceが「株式会社かぶしきがいしゃ」という形で抽出してしまう、といった具合だ。

このような重複した情報が抽出されてしまうと、その後にデータをシステムで処理する際に問題が生じる可能性が高い。例えば、顧客情報をデータベースに登録する際、「株式会社」と「株式会社かぶしきがいしゃ」では別の情報として扱われてしまったり、文字列検索の精度が落ちたりすることが考えられる。特に、抽出したデータをCSV形式などで出力し、別のシステムに連携するような場面では、このルビの存在がデータの整合性を損なう大きな要因となる。

そこで、本記事ではWord文書やExcel文書に含まれるルビを、Document Intelligenceで処理する前に除去する「前処理」の重要性と具体的な方法を解説している。Word文書の場合、直接Document Intelligenceに投入するのではなく、一度HTML形式に変換する手法が紹介されている。Word文書は、内部的にテキストや画像、レイアウト情報などさまざまな要素を持っているが、HTML形式に変換すると、それらの情報がウェブページのようにタグを使って構造化されて表現される。

このHTML形式において、日本語のルビは通常、「<ruby>漢字<rt>ルビ</rt></ruby>」のような特定のタグ（<ruby>タグ）を使って表現される。この特性を利用して、HTMLに変換された文書に対して、JavaScriptなどのプログラミング言語を使って、この<ruby>タグとその中身（<rt>タグに囲まれたルビの部分）を削除する処理を行うのだ。これにより、元のWord文書にあったルビだけがきれいに取り除かれたHTMLファイルを作成できる。ルビが除去されたHTMLファイルを改めてAzure AI Document Intelligenceに投入することで、不要なルビを含まない、クリーンなテキスト情報を抽出できるようになる。この方法のメリットは、Word文書の段落や表といった元の構造情報を比較的保持したまま、正確なテキスト抽出を行える点にある。

一方、Excel文書の場合、Word文書とはルビの扱いが異なることが多い。Excelでは、セル内のテキストに直接ルビを振る機能はWordほど一般的ではなく、ルビを付ける場合は、ルビ用のセルを別途用意したり、ルビ機能を使わずにテキストとして入力したりすることが多い。そのため、ExcelファイルをCSV形式に変換した場合、通常はルビの情報が単独で含まれることは少なく、多くの場合、そのままDocument Intelligenceで処理しても問題なく、ルビによる情報の重複は起こりにくい。もし問題が起こるようなら、CSVをテキストエディタなどで開いて確認し、必要に応じて手動またはスクリプトで修正することも可能だろう。

このように、文書の種類に応じて適切な前処理を行うことで、Azure AI Document Intelligenceは本来持っている高い情報抽出能力を最大限に発揮できるようになる。ルビを除去するという一手間を加えるだけで、システムの正確性が向上し、後続のデータ処理の効率も格段に上がる。システムエンジニアにとって、このように既存のサービスを最大限に活用するために、その特性を理解し、前処理や後処理といった周辺技術を組み合わせる能力は非常に重要である。大量の書類から価値ある情報を正確に、そして自動で取り出すこの技術は、これからのビジネスシステム開発において不可欠なものとなるだろう。