【ITニュース解説】Implementing a Retrieval-Augmented Generation (RAG) Chatbot with LangChain, Firebase, and Pinecone

RAG（Retrieval-Augmented Generation）チャットボットとは、既存の大量のテキストデータからユーザーの質問に関連する情報を探し出し、その情報を使ってより正確で信頼性の高い回答を生成する仕組みを持つチャットボットである。従来のAIチャットボットは学習済みの知識のみで回答を生成するため、最新の情報や特定の専門知識には対応しきれず、事実とは異なる情報をあたかも事実であるかのように生成してしまう「ハルシネーション」という問題があった。RAGはこの問題を解決するため、チャットボットが回答を生成する前に、外部の知識源から関連情報を「検索（Retrieval）」し、その情報に基づいて回答を「生成（Generation）」することで、精度と信頼性を高めることを目指す。

このチャットボットを実装する流れは、大きく分けて二つの段階からなる。一つは、チャットボットが参照する知識ベースを準備する段階、もう一つは、ユーザーからの質問に対してその知識ベースを利用して回答を生成する段階である。

まず、知識ベースの準備について説明する。チャットボットに参照させたい情報は、PDFファイルやウェブサイトから抽出される。この段階では、PDFからテキストを抽出するためのツール（記事中ではPdfReader）や、ウェブサイトから特定の情報を構造化してテキストに変換する関数が使われる。例えば、PDFファイルであればページごとのテキストを抽出し、ウェブサイトであれば「会社概要」や「サービス内容」といったセクションから関連情報を集めて一つのまとまったテキストにする。これがチャットボットに与える「生テキスト」となる。

次に、この抽出された生テキストを、AIモデル（大規模言語モデル、LLM）が処理しやすいように適切な大きさに分割する作業を行う。長い文書をそのままAIモデルに渡そうとすると、モデルの入力制限を超えてしまったり、効率的に処理できなかったりする問題が発生する。そこで、テキストを意味のまとまりを保ちながら小さな「チャンク（塊）」に分割する。この作業には、LangChainというフレームワークが提供するRecursiveCharacterTextSplitterのようなツールが利用される。RecursiveCharacterTextSplitterは、まず段落単位で分割を試み、分割しきれない場合は文単位、さらに単語単位、文字単位と、階層的に分割していくことで、意味の区切りを尊重しながら効率的にチャンクを作成する。この際、「chunkSize」でチャンクの最大文字数を指定し、「chunkOverlap」でチャンク同士が一部重なるように設定することで、情報が途中で途切れることによる文脈の喪失を防ぐ。例えば、1000文字のチャンクで200文字のオーバーラップを設定すれば、あるチャンクの最後の200文字が次のチャンクの最初の200文字と共通することになり、よりスムーズな情報連携が可能となる。

そして、この分割されたチャンクそれぞれを「埋め込み（Embedding）」という数値のベクトルに変換し、それを「ベクトルデータベース」に保存する。埋め込みとは、テキストの意味内容をコンピューターが数学的に扱えるように、多数の数値の並び（ベクトル）として表現したものだ。意味が似ているテキストは、ベクトル空間内で互いに近い位置に配置される。この変換は、OpenAIやCohereといった埋め込みモデルによって行われる。LangChainは、この埋め込みモデルの呼び出しと、ベクトルをデータベースに保存するプロセスを自動的に連携させる機能を持っている。記事ではPineconeというベクトルデータベースが使われているが、これは膨大な数のベクトルを効率的に保存し、高速に類似するベクトルを検索することに特化したデータベースである。各チャンクのベクトルを、必要に応じてクライアントIDなどの「名前空間（namespace）」を付けて保存することで、特定のユーザーやプロジェクトに紐づく情報を管理できる。

知識ベースの準備が完了したら、いよいよユーザーからの質問に答える段階に入る。ユーザーがチャットボットに質問を投げかけると、まずその質問文も同様に埋め込みモデルによって数値のベクトルに変換される。次に、この質問のベクトルと、ベクトルデータベースに保存されている膨大なチャンクのベクトルとの間で「類似度検索」が行われる。これは、質問のベクトルに最も「似ている」（すなわち、意味的に関連性の高い）チャンクのベクトルをデータベースから探し出す作業である。vectorStore.similaritySearchWithScoreという関数を使うことで、質問に最も類似する上位k個（記事では3個）のチャンクが、それぞれの類似度スコアとともに取得される。さらに、スコアが低い（類似度が低い）チャンクは除外するフィルタリング処理を行い、本当に「関連性の高い」チャンクだけを絞り込む。このようにして選ばれた関連チャンクが、ユーザーの質問に対する「コンテキスト（文脈情報）」として、AIモデル（LLM）に渡される。AIモデルは、この与えられたコンテキストとユーザーの質問の両方に基づいて、より的確で情報に基づいた回答を生成する。

チャンク分割の方法には、RecursiveCharacterTextSplitter以外にもいくつか種類がある。例えば、単純に文字数で分割するCharacterTextSplitter、トークン（AIモデルがテキストを処理する際の最小単位）で分割するTokenTextSplitter、Markdown形式のドキュメントをヘッダーやセクションで分割するMarkdownTextSplitter、HTMLタグを考慮して分割するHTMLTextSplitter、ソースコードを関数やクラスなどの論理ブロックで分割するCodeTextSplitterなどがある。また、AIモデル自身に分割の仕方を判断させるAgentic Chunkingといった高度な手法も存在する。これらの分割方法は、扱うデータの種類や目的に応じて最適なものが選択される。

このように、RAGチャットボットは、外部の専門知識や最新情報を効率的に取り込み、それを活用することで、単なる学習済み知識に依存するだけでなく、特定の状況や質問に合わせた、より賢く、より信頼性の高い回答を生成できる仕組みなのである。