【ITニュース解説】The low-cost path to AI Mastery: building a Wiki Navigator with pure Similarity Search

AIと大規模言語モデル（LLM）の世界では、しばしば膨大な計算能力や専門的なプラットフォーム、巨大なGPUクラスターが必要であるというイメージが先行し、それが多くの開発者にとって参入障壁となっている。しかし、このプロジェクト「Wiki Navigator」は、そのような複雑さが必ずしもAI学習の本質ではないことを実証した。核となる概念であるトークン化、ベクトル埋め込み、コサイン類似度に焦点を当てることで、少リソースでも機能的なRAG（Retrieval Augmented Generation）検索ソリューションが構築できることを示した。実際、この手法はChromiumのオープンソースコードベースの9,000ドキュメントや、Rustプログラミング言語の学習支援チャットボットの構築に活用され、短時間で実用的な結果を生み出している。AIやLLMの基礎を学ぶのに高価なGPUカードは不要であり、実践を通じて学習することが非常に有益であるというメッセージを明確に伝えている。

Wiki Navigatorは、新しいテキストを創造的に生成するのではなく、既存のドキュメントから文脈に合致する回答と関連リンクを確実に見つけ出すことで機能する。これは本質的に、RAGを搭載したコンテキスト検索エンジンである。その仕組みは驚くほど単純である。まず、準備（訓練）フェーズでは、Q&AペアやWikiコンテンツといった全てのドキュメントが、「ベクトル埋め込み」というデジタル形式の表現に変換される。このプロセスにより、ドキュメントの内容が数値の並び（ベクトル）として表現され、それらが集まって「ベクトルインデックス」が作成される。次に、クエリ（検索）フェーズでは、ユーザーが入力した質問も同様にベクトル埋め込みに変換される。最後に、システムはユーザーの質問ベクトルと、事前に作成されたドキュメントベクトルを「コサイン類似度」という手法で比較する。コサイン類似度は、二つのベクトルがどれだけ同じ方向を向いているかを示す指標であり、値が高いほど二つのベクトルの意味合いや文脈が似ていると判断される。このシンプルなプロセスにより、ドキュメント内を効率的にナビゲートし、関連性の高い情報を探し出すことが可能になる。

多くの記事が類似度検索の理論に焦点を当てる中、このプロジェクトの興味深い点は、その実装方法にある。特に、最もシンプルなMVP（Minimum Viable Product）であれば、AIモデルを一切使用せずに動作させることが可能だという点である。これにより、システム全体を静的にデプロイし、ブラウザ内で完結させることができるため、GitHub Pagesのような無料のホスティングサービスで公開することも可能になる。この静的デプロイを実現するためには、訓練用アプリケーション（C#で開発）とクライアントアプリケーション（JavaScriptで開発）の間で、トークン化とベクトル計算のアルゴリズムが完全に同一でなければならない。訓練パイプラインはC#で構築され、埋め込みの生成にはハッシュベースのSimpleEmbeddingServiceやTF-IDFベースのTfIdfEmbeddingService、あるいはより高度なONNXEmbeddingService（これはAIモデルを必要とする）が利用できる。この記事では、AIモデル不要のハッシュベースのアプローチに主眼を置いている。C#とJavaScript間で全く同じ計算結果を得るためには、例えば乱数生成器のような細かな部分に至るまで、両言語で完全に同じロジックを実装する徹底した整合性の確保が不可欠となる。これは手間がかかる作業だが、初心者にとってアルゴリズムの基礎を理解する上で非常に良い学習機会となる。

C#で構築された訓練アプリケーションでは、VectorUtilsクラスがコサイン類似度計算の中心的な役割を担う。この関数は、二つのベクトル（埋め込み）がどれだけ「類似しているか」を数値で評価する。この訓練プロセスは、GPUや高度な並列処理を使用せず、基本的な学習に焦点を当てるため、時間をかけてドキュメント全体を処理する。一方、JavaScriptで動作するクライアントアプリケーションは、ユーザーからの各クエリに対して、この訓練フェーズと同じコサイン類似度計算をリアルタイムで実行する。ユーザーの質問はベクトルに変換され、事前計算された全てのドキュメントベクトルと高速なインメモリ検索で比較される。最も類似度の高いドキュメントが見つかると、システムは設定された類似度閾値（デフォルトは0.90）と照合する。もし類似度が閾値以上であれば、スマートFAQマッチングとして正確な回答と引用元を提供する。閾値に満たない場合は、RAGフォールバックとして全ドキュメントコーパスを検索し、関連性の高い情報を統合して回答を生成する。このように、C#とJavaScriptでベクトルユーティリティが機能的に完全に一致することで、訓練時とリアルタイムクエリ時で一貫した結果が保証され、システムの信頼性が向上する。

このボットは、単純なキーワード検索をはるかに超える高度な3段階アーキテクチャで設計されている。最初の「フェーズ1：コンテキストデータベース準備」では、Q&Aペアやドキュメントのチャンクがベクトルに変換され、インデックスに保存される。これはシステムの知識ベースを構築する初期訓練である。次に「フェーズ2：ユーザーのクエリ処理」では、質問を受け取ると、まず設定された類似度閾値（デフォルト0.90）を用いてスマートFAQマッチングを試みる。自信度が高ければ、正確な回答を返す。もしFAQマッチの自信度が低い場合、「フェーズ3：一般知識の検索（RAGフォールバック）」が起動する。ここでは、システムは全ドキュメントコーパスを検索し、最も関連性の高いK個のドキュメント（Top-Kリトリーバル）を取得する。そして、それらの情報を基に合成された回答を生成し、必ず引用元と自信度スコアを付加する。この洗練されたフォールバックメカニズムにより、どのような質問に対しても、可能な限り引用元に基づいた回答を提供することが保証される。回答の質は訓練に用いたQ&Aペアの量に大きく依存し、十分なQ&Aがあれば高品質な回答が得られるが、少ない場合は関連性の低い引用が多くなる可能性がある。その場合でも、有効なURLリンクを返すことで有用性を保つことができる。

このような実践的な取り組みは、理論的な論文だけでは見えにくい興味深く実用的な洞察をもたらす。例えば、AIモデルを使用するトランスフォーマーベースのONNX埋め込みと、純粋なハッシュベースの埋め込みを比較することで、AIモデルなしでもボットが動作することがわかる。しかし、ハッシュベースのアプローチはシンプルである一方で、その埋め込みの有効性には理論的な限界があることも明らかになる。さらに、コサイン類似度を直接扱うことで、「コサイン類似度乱用」といった、意図的に非インテリジェントAIシステムを欺く方法も実践的に理解できる。これは、より大きな「プロンプトインジェクション」問題の入り口であり、AIユーザーとAI開発者にとって深刻な脅威となる可能性を示唆している。Chromiumのような複雑なプロジェクトの9,000ドキュメントを扱う堅牢で機能的なボットの構築には、技術的な注意深さが必要だが、決して大規模なインフラを必要とするわけではない。このプロジェクトは、LLMとAIの基本的な要素であるトークン化、ベクトル化、類似度比較が、コードに深く入り込む意欲さえあれば誰にでもアクセス可能であることを明確に示している。Wiki Navigatorは、自社の内部データや企業データに対して類似度検索がどれほどの可能性を秘めているかを示す強力なデモンストレーションである。提供されているオープンソースコードを探索し、どれだけ早く具体的な結果を出せるか試すことが奨励されている。これは始まりに過ぎず、将来の探求では、より高度なベクトル検索技術や、AIツールにおけるRust言語の活用、ブラウザベースアプリケーション向けAIの最適化といったテーマが深掘りされるだろう。今日からAI開発を始めることを促している。