【ITニュース解説】My PDF-to-Markdown converter kept flattening two-column papers into soup — column detection was the whole game

PDF文書をMarkdown形式に変換するツールを開発する際、予期せぬ大きな課題に直面したという開発者の話がある。それは、文書の「レイアウト」に関する問題だった。開発者は最初、レイアウトの処理は比較的簡単な「解決済みの問題」だと考えていたが、現実は全く異なっていた。

この問題は、特に学術論文によく見られる「2段組」の文書で顕著に現れた。PDFをMarkdownに変換すると、左右のコラム（段落の塊）の内容が交互に混ざり合ってしまい、まるで「スープ」のようにごちゃ混ぜになってしまったのだ。例えば、左コラムの1行目、次に右コラムの1行目、その後に左コラムの2行目、右コラムの2行目といった具合に、本来とは全く異なる順序でテキストが並べられてしまった。Markdownの見た目だけを見ると、見出しや段落、リストなどはきちんと抽出されているように見えたが、文書の「読解順序」は完全に破壊されていた。

このような読解順序が壊れた文書は、人間が読むだけでなく、AIを使った情報処理システムにとっても深刻な問題を引き起こした。例えば、AIが文書から情報を検索・生成するようなパイプラインに、この変換された文書を入力すると、AIは互いに無関係な左右のコラムから文章を引用し、意味の通らない情報を生成し始めた。技術的には個々のテキストの塊（チャンク）は抽出されていたものの、それらが持つ本来の意味は完全に失われていたのである。

この問題を解決するため、開発者はまずシンプルな方法を試みた。それは、PDFのページを単純に真ん中で区切り、X座標（横軸の座標）に基づいて左右のコラムに分割するというものだ。この方法は、一部のシンプルな2段組文書には効果があった。しかし、すぐに別の問題にぶつかった。例えば、ページ全体に広がるような大きな図表が2つのコラムにまたがって配置されている場合、その図表の説明文（キャプション）が不自然に途中で分割されてしまうことがあった。また、横幅の広い表が使われている場合や、文書の冒頭部分が1段組で、その後に本文が2段組に切り替わるような複雑なレイアウトの文書では、この単純なX座標による分割は全く機能しなかった。PDFの見た目上の幾何学的な情報だけでは、文書の真の構造や読解順序を正確に把握できないことが、この試みから明らかになった。

最終的に、開発者がたどり着いた解決策は、より洗練された「ハイブリッド」なアプローチだった。これは、主に以下の二つの方法を組み合わせるものだ。 一つ目は、文書内の「空白（ガター）」を検出し、そこからコラムの境界を特定する方法である。ガターとは、テキストのブロックとブロックの間に存在する、縦方向の連続した空白領域のことだ。人間の目には当たり前に見えるこの空白領域が、コラムの区切りを示していることが多い。この空白を正確に検出することで、左右のコラムがどこで区切られているのかを特定できるようになった。 二つ目は、安定したガターが見つからない場合、つまりコラムの境界が明確でない場合には、自動的に文書を「1段組」の流れとして処理することだ。これにより、複雑なレイアウトや、一時的に1段組になる部分にも柔軟に対応できるようになった。 さらに、非常に稀ではあるが、PDF自体が「タグ付きPDF」として作成されており、文書の読解順序に関する明示的な情報を含んでいる場合には、その情報を最優先で尊重するようにした。これは著者が意図した読解順序を正確に再現するために非常に重要だった。

この一連の開発経験を通じて、開発者は重要な教訓を得た。「レイアウトとは、単なる見た目ではなく、意味を持つものである」ということだ。PDFは、単に文字が特定の座標に配置されているデータではない。それは、著者が伝えたいアイデア同士がどのように関係し合っているか、という「視覚的な議論」なのだ。PDFをMarkdownのようなプレーンなテキスト形式に変換する作業は、単にテキストを抽出するだけではなく、文書の作成者が込めた「意図」を再構築する作業である。文書中のコラムの区切り、サイドバー（補助的な情報が載る部分）、引用文の配置など、一つ一つのレイアウトの決定には、「どの情報が一緒に扱われるべきか」という著者の明確な意図が込められている。

この経験は、文書処理のシステムを構築する開発者にとって、非常に実践的なアドバイスとなった。もしあなたが将来、文書を扱うシステムを開発する機会があれば、必ず以下のような複雑なレイアウトの文書でテストすることをおすすめする。例えば、複数のコラムにまたがるような大きな図表を含む論文、複数のセルが結合されているような複雑な表が含まれる文書、そして複数コラムで構成されている脚注を持つ文書などだ。見た目がきれいでシンプルなPDFは、処理が容易だが、実際に世界には複雑で「乱雑な」PDFが数多く存在する。そして、そのような複雑な文書こそが、現実の「仕様」であり、真の課題となることが多いのだ。

開発者はこの経験を活かし、コラムの検出機能を自身のPDF-to-Markdown変換ツールの一部として実装し、公開した。この機能により、より正確で意味の通るMarkdown変換が可能になった。