【ITニュース解説】Graph rag pipeline that runs entirely locally with ollama and has full source attribution

AI技術の進化が目覚ましい近年、私たちは日常的にAIと対話する機会が増えている。特に、膨大なテキストデータを学習し、人間のような自然な文章を生成できる大規模言語モデル（LLM）は、様々な分野での活用が期待されている。しかし、LLMにはいくつかの課題も存在し、その一つが「情報の正確性」と「最新情報への対応」だ。LLMは学習時点までの情報しか持たず、また、時に事実に基づかない「ハルシネーション」と呼ばれる誤った情報を生成することがある。

このような課題を解決するために注目されているのが、「RAG（Retrieval Augmented Generation）」という技術だ。RAGは、ユーザーからの質問に対して、まず外部の知識源（ドキュメント、データベースなど）から関連する情報を「検索（Retrieval）」し、その検索結果をLLMに「与えて（Augmented）」回答を「生成（Generation）」させる仕組みである。これにより、LLMは最新の情報に基づいた、より正確で信頼性の高い回答を生成できるようになる。

今回紹介するプロジェクト「VeritasGraph」は、このRAG技術をさらに進化させ、特に「ローカル環境での実行」と「情報の信頼性・検証」に焦点を当てた画期的な取り組みである。VeritasGraphは、企業や個人が外部のクラウドサービスにデータを送ることなく、自分たちのパソコンやサーバー上でAIチャットシステムを構築できるよう設計されている。これにより、データのプライバシーが完全に保護され、機密情報を扱う場合でも安心して利用できるという大きなメリットがある。また、インターネット接続がない環境でも動作するため、外部APIの利用料もかからず、コスト面でも有利だ。

VeritasGraphが目指す主要な目標は二つある。一つ目は、「マルチホップ推論」という難しい問題の解決だ。通常のRAGシステムは、ユーザーの質問に関連する情報を単一の文書から見つけ出すことには長けているが、複数の異なる文書に散らばった事実を「つなぎ合わせる」ことで初めて導き出せるような複雑な質問には対応しにくいという弱点がある。例えば、「Aという会社の創設者の出身地はどこか」という質問に対し、一つの文書には「A社の創設者はBである」と書かれており、別の文書には「BはCという都市出身である」と書かれている場合、この二つの情報を結びつける必要がある。VeritasGraphは、この問題を解決するために「ナレッジグラフ」というアプローチを採用している。

ナレッジグラフとは、情報とその情報同士の「関係性」を、まるで地図のように点と線で表現したものだ。例えば、「会社A」という点と「創設者B」という点を「創設した」という線で結び、「創設者B」という点と「都市C」という点を「出身地」という線で結びつける。このように情報をグラフ構造で整理することで、AIは複数の情報源をまたいで関連性を効率的にたどり、より深く複雑な推論を行うことができるようになる。これにより、単なる情報検索では難しい、多角的な視点からの回答生成が可能になるのだ。

二つ目の目標は、「信頼性と検証」の確保である。VeritasGraphは、AIが生成した回答に含まれる一つ一つの文章が、どの元の文書のどの部分に基づいているのかを明確に提示する機能を持っている。これを「完全なソース帰属（Source Attribution）」と呼ぶ。AIの生成する情報には、時に根拠のない内容が含まれる可能性があるため、利用者はAIの回答が本当に信頼できるものなのか、どの情報源に基づいているのかを確認したいと考えるのが自然だ。VeritasGraphのこの機能は、AIの回答に対するユーザーの信頼感を高め、万が一誤った情報が生成された場合でも、その原因を特定しやすくする。これは、特にビジネスや研究といった分野でAIを導入する際に非常に重要な要素となる。

VeritasGraphの技術的な基盤には、ローカル環境でLLMを動作させるためのツール「Ollama」が活用されている。Ollamaは、高度な計算能力を持つLLMを一般的なPC環境で手軽に実行できるようにするソフトウェアだ。プロジェクトでは、大規模言語モデルとして「llama3.1」が、そして文章の意味を数値データに変換するための「埋め込みモデル」として「nomic-embed-text」が採用されている。これらのツールを組み合わせることで、外部サービスに依存しない、独立したRAGシステムが構築されているのだ。

開発者が直面し、そして解決した一つの大きな課題は、Ollamaで利用するLLMの「コンテキスト長」に関するものだった。コンテキスト長とは、LLMが一度に処理できる情報の長さ、つまり「記憶容量」のようなものだと考えると良い。Ollamaのデフォルト設定では、このコンテキスト長が2048トークン（言葉の単位）に制限されており、これが原因で、AIが十分な情報を参照できず、期待通りの回答が得られないという問題が発生した。この問題を解決するため、開発者はllama3.1モデルの「Modelfile」と呼ばれる設定ファイルを修正し、コンテキスト長を大幅に拡張した12kトークン（約12,000トークン）のカスタムバージョンをビルドして利用した。これにより、LLMがより多くの情報を一度に処理できるようになり、推論の精度が飛躍的に向上した。

VeritasGraphプロジェクトは、これらの機能を実現するための全てを提供している。具体的には、前述のGraph RAGパイプライン全体、ユーザーが直感的にAIとチャットできる「Gradio UI」というウェブインターフェース、そしてシステムをゼロから構築するための詳細なセットアップガイドが含まれている。GitHubリポジトリには、全てのコードと手順が公開されており、システムエンジニアを目指す人にとって、実践的な学びの場となるだろう。

VeritasGraphは、プライバシー、信頼性、そして高度な推論能力をローカル環境で実現する、未来のAIシステムの一つの形を示している。このようなプロジェクトを通じて、システムエンジニアを目指す私たちは、AI技術の最先端に触れ、その課題と解決策について深く学ぶことができる。ローカルLLMの実装やプロンプトチューニングといった分野は、今後さらに発展が期待される領域であり、このプロジェクトはその探求の第一歩となることだろう。