【ITニュース解説】Measure a context plugin on your own repository before you install it

システムエンジニアを目指す初心者の皆さんにとって、現代のソフトウェア開発においてAIの活用は避けて通れないテーマだ。特に、大規模言語モデル（LLM）のようなAIが、プログラミングコードの理解や生成、レビューといったタスクで役立つ場面が増えている。しかし、AIに大量のコードをそのまま与えることは、処理効率の悪化やコストの増大を招く可能性がある。AIが理解しやすいように、必要な情報だけを厳選して与える工夫が求められる。

この課題を解決するために「コンテキストプラグイン」と呼ばれるツールが登場した。これらは、AIエージェントに渡す情報を最適化し、AIがコードを効率的に処理できるように「コンテキストコスト」を削減すると謳っている。コンテキストコストとは、AIがタスクを実行する際に参照する文脈情報の量が多くなることによって発生する計算資源や時間、API利用料金などの負担のことだ。しかし、これらのプラグインが本当に自身のプロジェクトでどれほどの効果を発揮するのか、事前に確認できるツールはこれまで存在しなかった。

そこで開発されたのが「chamnan」という新しいツールだ。chamnanは、ユーザーが自身のGitHubリポジトリで、コンテキストプラグインがAIに提供する情報をどの程度削減できるかを、実際にインストールする前に測定できる画期的なウェブページを提供する。その目的は、コンテキストコスト削減を謳うプラグインが、実際のコードベースでどのように機能するかをユーザー自身が透明性をもって評価できるようにすることにある。

chamnanの使い方は非常にシンプルだ。公開されているGitHubリポジトリのURLをページに貼り付けるだけで、特別なサーバーやAPIキー、アップロードの操作は一切不要だ。ユーザーのブラウザ内で、指定されたリポジトリのソースコードがダウンロードされ、chamnan独自のモジュールである「mapper（マッパー）」「rollup（ロールアップ）」「redactor（リダクター）」が直接実行される。これらは、コードの構造を分析し、AIエージェントのコンテキストとして注入されるであろう情報の内容と量をシミュレートする。具体的には、各セッションでAIエージェントに注入される内容、redactorがコードをどのように変更または削除するか、そして50ターンのシミュレーションを通じて、そのリポジトリのファイル群がAIによってどのように扱われるかが詳細に報告される。ソースコードは数値が生成された瞬間にブラウザから削除されるため、プライバシーやセキュリティの面でも配慮されている。現在、chamnanは5つの異なるプログラミング言語に対応して動作する。

chamnanによって測定されたデータは興味深い事実を明らかにしている。たとえば、有名なオープンソースプロジェクトのリポジトリを測定した結果が示されている。これには、JavaScriptの「chalk」、Pythonの「psf/requests」、Rubyの「rails/rails」、Pythonの「django/django」、C言語の「torvalds/linux」、TypeScriptの「vuejs/core」といった多様なプロジェクトが含まれる。これらのリポジトリのソースコードサイズは、小さいもので56KBから、大きいものでは3,782KBまで、約70倍近くも異なる。しかし、AIエージェントに「注入されるコンテキスト」の量は、どのリポジトリにおいても約6.2KBから6.7KBの範囲に収まっているのだ。

この結果が示す最も重要な点は、「ソースコードのサイズが大きくなっても、AIに渡される情報の量は一定の上限（バウンド）に抑えられている」ということだ。これは、chamnanの設計思想として、コード全体を圧縮するのではなく、重要な情報を「トークン予算」という限られた範囲に収まるようにインデックス化しているためだ。つまり、非常に大規模なリポジトリの場合でも、AIエージェントにはより広範囲をカバーする「粗いマップ」のような情報が提供され、詳細な情報はその都度、必要に応じて引き出される形になる。これにより、どんなにコードが大きくても、AIへの入力コストが際限なく増大するのを防いでいる。このため、「比率」（ソースコードサイズと注入されるコンテキスト量の比）だけを単独で見て、圧縮率が高いと判断するのは誤解を招く可能性がある。この比率はあくまで上限設定の結果として生じるものであり、純粋なデータ圧縮とは異なる側面を持つことを理解する必要がある。

chamnanの開発過程では、14箇所にわたる同じ種類の欠陥が発見された。これらは無関係なバグではなく、一つのルールが複数の場所で一貫して適用されなかったために生じたものだ。例えば、特定のパターンを持つパス名が正しく処理されずにエラーを発生させたり、ツール設定ファイル内の数値が文字列として扱われたためにプログラムがクラッシュしたりする問題があった。また、ゼロ幅文字（画面には表示されない特殊な文字）がAIへの入力から除去されず、意図しない解釈やセキュリティ上の脆弱性を引き起こす可能性もあった。さらに、ファイル名に含まれるバッククォート文字が、AIエージェントの出力形式を崩し、リポジトリのデータがまるでAI自身の発言のように表示されるという、情報伝達の正確性に関わる問題も発生した。これらの発見は、AIに渡す情報がいかに正確でなければならないか、そしてその情報がどこでどのように加工されるかに注意を払うことの重要性を示している。

開発者は、これらの問題を特定し、解決する過程で貴重な教訓を得た。特に、継続的インテグレーション（CI）環境におけるWindowsでのテストの重要性だ。Mac環境では見過ごされていた5つの問題が、Windows環境でのテストによって初めて明らかになったという。そのうち4つはローカル環境でも発見可能だったにもかかわらず見落とされていたものだったが、残りの1つは真の同時実行性の欠陥だった。これは、複数の処理が同時に行われる際に、ファイルロックの処理が短すぎるために一部のデータが失われるという問題で、Windows環境で特に顕著に現れた。この問題を解決するために、テストの実行条件を厳しくする（ファイルロックの待機時間を意図的に短くする）ことで、Mac環境でも問題を再現させ、修正することができた。この経験は、異なるプラットフォームでの徹底したテストと、問題発見のためにテスト条件を「いじめ抜く」ことの有効性を示している。

chamnanはMITライセンスで公開されており、標準ライブラリのみを使用しているため、外部依存性がないというクリーンな設計思想を持っている。これは、CIプロセスが簡素化され、将来的に外部ライブラリへの依存が必要になった場合は、その変更自体を拒否するべきだという強い品質保証の姿勢を示している。21種類の言語を解析し、23のアダプターをサポートしており、Ubuntu、macOS、Windowsの各OSで、Python 3.8から3.13まで幅広い環境でテストされている。chamnanは、AIを活用した開発において、コンテキスト管理の透明性と効率性を高めるだけでなく、堅牢なソフトウェア開発の重要性を私たちに教えてくれるツールだ。