【ITニュース解説】7 RAG Chunking Strategies That Fix Broken Retrieval

最近のITニュースで注目されているRAG（Retrieve Augmented Generation）の性能を大きく左右する「チャンキング戦略」について解説する。RAGとは、大規模言語モデル（LLM）が持つ知識の限界や情報の鮮度に関する問題を克服するために開発された技術である。LLMは学習データに基づいて回答を生成するが、学習時点以降の最新情報や、特定の専門知識については知らない場合がある。また、学習データにない情報を「知っているかのように」誤った内容（ハルシネーション）を生成することもある。RAGは、ユーザーからの質問に対し、まず外部の信頼できるデータベースやドキュメントから関連情報を検索（Retrieve）し、その検索結果をLLMに与えて回答を生成（Generate）させることで、これらの課題を解決しようとする。

このRAGシステムにおいて、情報を正確に検索する「Retrieval（検索）」のステップは非常に重要だ。もしRAGシステムが質問に関連する適切な情報を見つけられなければ、LLMは良い回答を生成できない。この検索の質を決定づける要素の一つが「チャンキング」である。チャンキングとは、RAGが参照する大量のテキストデータ（例えば、PDFドキュメント、Webページ、記事など）を、意味のある小さな塊（チャンク）に分割するプロセスのことだ。LLMや検索システムは一度に扱える情報量に限界があるため、長い文章全体をそのまま扱うのではなく、適切な大きさに分割する必要がある。

しかし、現在普及しているRAGツールの多くで提供されているデフォルトのチャンキング設定は、必ずしも最適な検索結果をもたらさないことが報告されている。つまり、標準の分割方法では必要な情報がうまく見つけられず、「Broken Retrieval」（壊れた検索）の状態に陥りやすいという問題がある。この問題を解決し、RAGの検索性能を向上させるために、様々なチャンキング戦略が提案されている。ここでは、その主要な7つの戦略について説明する。

一つ目は「固定サイズチャンキング」である。これは最もシンプルで、一定の文字数や単語数で機械的にテキストを分割する方法だ。例えば、「256文字ごとに分割し、前のチャンクと50文字重複させる（オーバーラップさせる）」といった設定を用いる。オーバーラップを設定することで、チャンクの境界で文脈が途切れてしまうことを防ぐ狙いがある。手軽に実装できる反面、意味の区切りを無視して文章が途中で切れてしまう可能性がある。

二つ目は「セマンティックチャンキング」だ。これは、テキストの内容や意味的なまとまりに基づいてチャンクを生成する方法である。単に文字数で区切るのではなく、自然言語処理技術（例えば、埋め込みベクトルとその類似度）を用いて、意味的に近い文や段落を一つのチャンクにまとめる。これにより、一つのチャンクがより一貫した意味内容を持つため、検索時に質問との関連性が高まりやすいという利点がある。

三つ目は「ドキュメント構造ベースチャンキング」である。この戦略は、PDFやHTMLのような構造化されたドキュメントを扱う場合に特に有効だ。見出し、段落、リスト、セクションなどのドキュメントが持つ論理的な構造を利用してチャンクを分割する。例えば、一つの見出しの下にある全ての段落を一つのチャンクとして扱うなど、ドキュメント本来の構成を反映させることで、情報のまとまりをより正確に捉えることができる。

四つ目は「再帰的チャンキング」である。この方法では、まず大きなチャンクにテキストを分割し、そのチャンクがまだ検索に適したサイズや内容でなければ、さらに小さなチャンクへと分割するプロセスを繰り返す。例えば、まず段落で分割し、それでも大きい場合は文で分割するといった階層的なアプローチを取る。これにより、様々な粒度で情報を保持できるため、質問の性質に応じて適切な粒度のチャンクを検索できる可能性が高まる。

五つ目は「テーブル/コード対応チャンキング」である。一般的なテキストチャンキングでは、表形式のデータやプログラムのコードのような特殊な構造を持つ情報はうまく扱えないことが多い。これらの情報を適切に扱うため、表はCSV形式やマークダウン形式に変換してメタデータ（表のタイトルや説明など）と一緒にチャンク化したり、コードはコメントや関数定義などに基づいてチャンク化したりする。これにより、特殊な情報もRAGシステムで有効活用できるようになる。

六つ目は「親子チャンキング（Parent-Child Chunking）」である。この戦略では、二種類のチャンクを作成する。一つは検索に使うための比較的短い「子チャンク」で、もう一つはその子チャンクを含む、より広範な文脈を持つ「親チャンク」である。RAGシステムはまず子チャンクを検索し、関連性の高い子チャンクが見つかったら、その子チャンクに対応する親チャンクをLLMへの入力として提供する。これにより、検索の精度を保ちつつ、LLMに豊富な文脈を与えることができる。

七つ目は「小さなチャンクからの埋め込みと大きなチャンクからのコンテキスト」である。これは親子チャンキングと似ているが、より明確に役割を分離する。検索の際に使う「埋め込みベクトル」（テキストの意味を数値化したもの）の生成には、非常に短い（質問のキーワードに近い）チャンクを用いる。一方で、実際にLLMが回答を生成する際に参照する「コンテキスト」としては、その短いチャンクが含まれる、より長い文章全体を提供する。この方法により、短いキーワードでの検索感度を最大化しつつ、LLMには十分な文脈を提供できるため、より正確で自然な回答が期待できる。

これらのチャンキング戦略は、RAGシステムの基盤となる重要な要素だ。適切なチャンキング戦略を選択し、適用することは、RAGの検索性能、ひいてはLLMが生成する回答の品質を大きく向上させるために不可欠である。システムエンジニアとしてRAGシステムを設計・構築する際には、扱うデータの特性やユーザーのニーズに合わせて、これらの戦略を理解し、適切に組み合わせることが成功の鍵となるだろう。