【ITニュース解説】Retrieval-Augmented Generation (RAG) Powered Conversational Chatbot Solution: Concepts and Tech Stack You Need to Build It

大規模言語モデル（LLM）は非常に強力なAIだが、その知識は学習したデータに基づいているため、企業の特定の内部データや最新の情報、あるいはドメイン固有の専門知識は知らないという課題がある。Retrieval-Augmented Generation（RAG）は、このギャップを埋めるための技術であり、ドキュメントの検索機能とLLMのテキスト生成能力を組み合わせることで、根拠があり、文脈に沿った、正確な回答を生成する仕組みを提供する。

RAGの核となるプロセスは、大きく二つのフェーズに分けられる。一つは「インデックス作成（知識準備）」、もう一つは「回答生成（知識検索）」である。

インデックス作成のフェーズでは、まず生のドキュメント（PDF、Wordファイル、テキストファイル、HTMLなど）をシステムに取り込む。これらのドキュメントは、LLMが一度に処理できる情報の量には限界があるため、次に「チャンク化」と呼ばれるプロセスで、意味のある小さな断片（チャンク）に分割される。例えば、数百から数千トークン（単語や文字の単位）程度の大きさに区切られる。このチャンク化されたテキストは、さらに「埋め込みモデル」という特別なAIモデルを使って、数値の並び（ベクトル）に変換される。このベクトルは、テキストの意味内容を数値で表現したものであり、コンピューターがテキストの意味的な類似性を理解するために不可欠な形式である。最後に、これらのベクトルと元のテキストチャンク、および関連するメタデータ（ドキュメント名、ページ番号など）は、「ベクトルデータベース」や「検索インデックス」と呼ばれる場所に保存される。これにより、後から高速かつ効率的に関連情報を検索できるようになる。

回答生成のフェーズでは、ユーザーからの質問がシステムに与えられると、まずその質問も埋め込みモデルによってベクトルに変換される。次に、この質問ベクトルを使って、ベクトルデータベースから、意味的に最も関連性の高いチャンクが検索される。これは、質問ベクトルと保存されたチャンクベクトルの類似度を計算することで行われ、通常は「k近傍探索（kNN）」のようなアルゴリズムが使われる。関連性の高いチャンクがいくつか取得されると、それらのチャンクと元のユーザーの質問が、プロンプトと呼ばれる指示文とともにLLMに渡される。LLMは与えられた情報と質問、そして指示に基づいて、ユーザーに分かりやすく、根拠のある回答を生成する。この一連のプロセスを通じて、RAGはLLMが「知らない」情報に対しても、まるで参照文献を読み込んだかのように、正確で最新の、かつ特定のドメインに特化した回答を生成することを可能にし、LLMが事実に基づかない情報を生成する「ハルシネーション」のリスクを大幅に軽減する。

このようなRAGソリューションを構築するには、いくつかの技術要素を組み合わせる必要がある。

まず「ドキュメントストレージ」は、未加工のソースドキュメントを保存する役割を果たす。これはRAGシステムの「本棚」のようなもので、Azure Blob StorageやAWS S3といったクラウドストレージサービス、あるいはファイルサーバーやデータベースなどが使われる。

次に「データ処理/チャンク化」は、ドキュメントを埋め込みや検索に適した小さなチャンクに分割するプロセスを担う。LangChainやLlamaIndexといったライブラリがこの処理を支援し、段落、セクション、または意味的な区切りに基づいてテキストを分割する。

「埋め込みモデル」は、テキストチャンクやユーザーの質問を数値ベクトルに変換する。これにより、テキストの意味に基づいた類似性検索が可能になる。Azure OpenAI EmbeddingsやOpenAI、Cohereのモデルなどが代表的である。

「ベクトルデータベース/検索インデックス」は、埋め込みモデルによって生成されたベクトルと関連するメタデータを保存し、高速なベクトル検索（意味類似性検索）を可能にする。Pinecone、Weaviate、Milvusのようなクラウドネイティブなサービスや、PostgreSQLにpgvector拡張機能を加えたものなどが利用できる。

「リトリーバー/オーケストレーター」は、ユーザーの質問を埋め込み、ベクトルデータベースから関連するチャンクを検索し、そのチャンクをLLMに渡すための適切な形式に整える役割を担う。LangChainやLlamaIndexなどのフレームワークが、この検索戦略の実行を支援する。

「LLM（回答生成器）」は、取得した関連チャンクとユーザーの質問、およびシステムプロンプトやガードレール（安全対策の指示）を基に、最終的な回答を生成する。Azure OpenAI GPT（GPT-4oなど）、Anthropic Claude、Google Geminiなどのクラウドサービス提供のLLMや、LLaMA 3のようなオープンソースのLLMが使われる。

「アプリケーションレイヤー」は、ユーザーがRAGシステムとやり取りするためのユーザーインターフェース（UI）とAPIエンドポイントを提供する。フロントエンドにはReact.jsやNext.jsが、バックエンドにはNode.js、PythonのFastAPI/Flaskなどが用いられ、ドキュメントのアップロードやチャット形式でのQ&A機能を実現する。

さらに、プロダクション環境では「サポートサービス」も重要になる。これには、ユーザーの認証とセキュリティを管理するMicrosoft Entra ID（Azure AD）やOAuth、システムのログ、メトリクス、トレーシングを収集するObservabilityツール（Application Insights、Datadog）、機密情報を安全に管理するSecrets Management（Azure Key Vault）、ドキュメントの自動取り込みなどを実現するイベント処理やパイプライン（Event Grid、Kafka）などが含まれる。

RAGの全体的な情報の流れは以下のようになる。まず、新しいドキュメントが到着するとドキュメントストレージに保存される。その後、データ処理パイプラインによってドキュメントはチャンクに分割され、各チャンクは埋め込みモデルによってベクトルに変換される。これらのベクトルとチャンクのメタデータはベクトルデータベースに保存される。ユーザーがアプリケーションのフロントエンドから質問をすると、その質問はバックエンドで埋め込みモデルによってベクトルに変換され、リトリーバーがこのベクトルを使ってベクトルデータベースから最も関連性の高いチャンクを検索する。検索されたチャンクとユーザーの質問は、適切な指示とともにLLMに渡され、LLMはこれらを基に根拠のある回答を生成する。最終的に、生成された回答はユーザーインターフェースに表示され、場合によっては引用元も提示される。

このように、RAGはLLMが企業独自の、あるいは最新の動的な知識を活用できるように強化する技術である。各コンポーネントはそれぞれ明確な役割を持つが、システム全体としてはモジュール式になっており、必要に応じて特定のコンポーネント（例えば、異なるベクトルデータベースやLLM）を交換できる柔軟性がある。このフローを理解すれば、ドキュメントの自動取り込み、検索結果のフィルタリングや再ランキング、システムの監視といった追加機能を組み込むことで、RAGシステムをさらに拡張することが可能になる。