【ITニュース解説】Which table format do LLMs understand best?

大規模言語モデル（LLM）は、IT分野で注目を集める技術であり、人間が使う自然な言葉を理解し、生成する能力を持つ。システムエンジニアとして、このLLMをどのように活用し、特に構造化されたデータをどう効率的に扱うかは重要な課題である。LLMは自然言語処理に優れているが、数値やカテゴリ情報が整理された表形式のデータを扱う際に、どの形式が最も適しているかについては、これまで明確な指針が少なかった。

今回注目するニュース記事では、「LLMが最も理解しやすいテーブル形式はどれか？」という疑問に対し、具体的な実験を通じてその答えを探っている。この実験は、LLMをシステムに組み込む際に、データの入力形式をどうすべきかという、実用的な指針を提供するものである。

実験では、複数の一般的なテーブルデータ形式が比較された。具体的には、シンプルなCSV（カンマ区切り値）、プログラミングで多用されるJSON、階層構造を持つXML、ウェブページで使われるHTMLテーブル、視覚的に分かりやすいMarkdownテーブル、そして表の内容を文章で説明する自然言語記述の計6種類である。これらの異なる形式で同じ情報を持つテーブルデータを表現し、それをGPT-3.5-turboという主要なLLMに入力した。入力後、LLMに対して各テーブルから特定の情報を抽出する質問を与え、その回答の正確性を評価した。評価に用いられたデータは、ユーザー情報、製品情報、注文情報など多岐にわたり、結果の信頼性を高めている。

実験の結果、最も高い性能を一貫して示したのはMarkdownテーブルであった。Markdownテーブルは、シンプルな記法でありながら、表のヘッダー（列名）とデータ行、そして各列の区切りを明確に表現できる。この明瞭な構造が、LLMがデータの内容だけでなく、その構造的な関係性も効率的に理解する上で非常に役立ったと推測される。

次に良好な結果を示したのは、テーブルの内容を文章で記述する自然言語記述形式であった。これはLLMが自然言語処理に特化しているため、直感的に理解しやすい形式であると言える。しかし、データの量が増加したり、表現が複雑になったりすると、情報が冗長になり、LLMが必要な情報を正確に抽出することが難しくなる可能性もある。

CSV形式も比較的良好な結果を示した。CSVは非常に単純な構造であり、データがカンマで区切られているだけなので、LLMにとって解析しやすい場合がある。しかし、より複雑なテーブル構造や多次元的なデータには対応しにくく、表現力には限界があることも明らかになった。

一方、プログラミング分野で広く使われ、複雑な階層構造を持つデータを表現するのに適したJSONやXMLといった形式は、LLMに入力する際には、意外にも性能が振るわない場面が見られた。これらの形式には、データそのものだけでなく、構造を定義するための多くの記号やタグが含まれる。LLMはテキストを「トークン」という最小単位で処理するため、これらの余計な記号やタグが「ノイズ」となり、データの本体を理解する上で妨げになることがあったと考えられる。特に、データのネスト（階層の深さ）が深くなるほど、LLMが全体の構造を正確に把握し、必要な情報を見つけ出すのが難しくなる傾向が確認された。

同様に、多くのタグを含むHTMLテーブルも、LLMにとってノイズが多く、必ずしも最適な形式ではなかった。HTMLタグはウェブブラウザがページを正しく表示するための指示であり、LLMがデータの意味を理解する上では、かえって情報過多となることが多かったのである。

Markdownテーブルがこれほど優れた結果を示した背景には、LLMの処理特性がある。LLMは膨大なテキストデータから学習することで、言葉のパターン、文脈、そして文章の構造を理解する能力を獲得している。Markdownテーブルは、人間が視覚的に理解しやすいよう設計されており、データの区切りやカテゴリが記号によって明確に示される。このような明瞭な構造は、LLMがデータの意味的な関連性を効率的に推測し、質問に正確に答えるための強力な手がかりとなる。また、余計な記号が少ないため、LLMが処理するトークン数も抑えられ、効率的な情報処理につながる。

この実験結果は、LLMを活用したシステム開発を行うシステムエンジニアにとって、非常に実践的な指針となる。LLMにテーブル形式のデータを入力する際には、まずはMarkdownテーブルを第一の選択肢として検討することが推奨される。これは、比較的シンプルなデータからある程度の複雑さを持つデータまで、その構造と内容をLLMに効率的に伝えるための効果的な手段である。しかし、データの種類や量、そして使用するLLMのバージョンや特性によっては、最適な入力形式が異なる可能性も考慮すべきである。そのため、自身の具体的な用途に合わせて、常に実験と検証を重ねる姿勢が重要となる。LLMを最大限に活用するためには、LLMにとって「読みやすく」、かつ「構造が明確」な形式でデータを提供するという基本原則を忘れてはならない。