【ITニュース解説】I got Jev to zero mistakes. I'm still using Flash-Lite.

AI（人工知能）技術の発展は目覚ましく、日々新しいAIモデルが登場している。その中でも、最近特に注目を集めている「Jev」というモデルと、Googleが提供する「Gemini Flash-Lite」という、あまり話題にはならないが非常に高性能なモデルが存在する。この記事では、これら二つのAIモデルを、AIを利用したシステムの開発現場で実際に比較した結果から、システムエンジニアを目指す初心者が知っておくべき重要な学びを解説する。

私たちは、Major League Hacking（MLH）という組織で、AIによるコーディングエージェントの性能を評価する「benchspec」というオープンソースツールを開発・運用している。このツールでは、AIエージェントが生成したコードが正しく動作するかを、事前に定義されたチェック項目に基づいて評価する。このチェック項目には、「指定されたファイルが存在するか」といった単純なものから、「要約が元の情報の3つの主要な事実を忠実に反映しているか」といった、意味を理解する必要がある複雑なものまで様々だ。

ここで重要になるのが「ルーティング」という機能だ。これは、各チェック項目を見て、「コードによる簡単な検証で済むか」、それとも「AIによる意味の理解を伴う高度な判断（LLMジャッジ）が必要か」を賢く振り分ける役割を担う。このルーティングの判断は非常に重要で、もしコードで処理できないチェックを誤ってコード検証に送ってしまうと、実際には間違いがあるのに「合格」と誤って報告されてしまう。これはユーザーの信頼を大きく損ねる致命的な問題だ。逆に、コードで処理できるものをAIジャッジに送っても、コストがかかるだけで、システムの信頼性には影響しない。そのため、このルーティングにおいては「迷ったらAIジャッジに送る」という、安全側に倒れた判断が求められる。

これまで私たちのシステムでは、このルーティング機能にGemini Flash-Liteを利用していた。このモデルは、Googleが「大量の、処理速度が求められるタスク（翻訳や分類など）向け」と説明している通り、非常に高速でコストも安い。加えて、一度に処理できる情報量も上位モデルと同じくらい大きく、分類タスクにおいて非常にバランスの取れた性能を発揮していた。私たちのAIシステムでは、月に何万ものAI呼び出しが行われるが、その99%はFlash-Liteが担っていた。

そこに登場したのが、新しく非常に注目されているJevだ。Jevは、テキストを入力として受け取り、事前に決められた選択肢の中から最も適切なものの「可能性」を返すことに特化している。文章を生成したり、チャットしたりはできないが、その分非常に安価で高速だ。ルーティングのような分類タスクには、まさに理想的に見える。そこで私たちは、Flash-Liteの代わりにJevを組み込んで、同じデータで両モデルを比較する実験を行った。

最初の実験結果は衝撃的だった。Flash-Liteは、危険な誤り（コードで処理できないものをコードに送ってしまうミス）を一度も犯さなかった。過度に慎重な判断は2回あったが、これはコストが増えるだけでシステムの信頼性には影響しない。しかし、Jevは3回も危険な誤りを犯した。例えば、「ログエントリに正しい移動が記録されているか」という、意味の理解が必要なチェックを、単なるテキストパターンマッチング（正規表現）で処理できると判断してしまったのだ。これは、システムが誤った「合格」を報告し、結果としてユーザーの信頼を失いかねない深刻な問題だ。

この結果を受け、私たちはJevの特性を深く掘り下げた。Jevは「書かれた質問に文字通り答える」という性質が強い。そこで私たちは、Jevへの指示、つまり「プロンプト」を修正することにした。単に「注意して」と言うだけでは不十分だ。「このチェッカーが合格したと仮定した場合、それでもチェックが偽である可能性はありますか？」という一文を追加したのだ。これにより、Jevは各チェッカーの「死角」、つまりそのチェッカーが何を見落とす可能性があるのかを具体的に考えるようになった。例えば、「正規表現で特定のパターンが見つかったとして、それが正しい意味を指しているとは限らない」といった判断だ。

プロンプトの基準も変更し、チェッカーが「何ができるか」だけでなく、「何ができないか（何を見落とすか）」を記述するようにした。驚くべきことに、多くのAIモデルで有効とされる「具体例」をプロンプトに加えると、Jevの危険な誤りは倍増した。Jevはパターンマッチングよりも、与えられたルールを文字通り適用する傾向があるため、具体的な失敗モードを説明する問いかけが、例よりも効果的だったのだ。このプロンプトの改善により、Jevは危険な誤りを完全にゼロにすることができた。これは、プロンプトの設計がいかに重要であるかを示す顕著な例だ。

しかし、このプロンプトの変更はFlash-Liteにはほとんど効果がなかった。Flash-Liteは、多少不完全なプロンプトでも柔軟に対応できる一方、非常に精密な指示に対しても時々誤った判断をする「フリップ（揺らぎ）」を見せた。Jevの誤りは特定の「盲点」に起因しており、プロンプトでそれを修正できたが、Flash-Liteのそれは予測しにくい「サンプリングノイズ」のようなものだった。

また、「より賢いモデルは、弱いプロンプトの問題を解決してくれるのか」という疑問も検証した。Gemini Flashのより上位モデルや、さらに強力なOpusといったモデルを試した結果、これらの高性能モデルは、Jevの初期の弱いプロンプトでも危険な誤りを犯さなかった。つまり、より賢いモデルは、プロンプトの不備をある程度「隠してくれる」と言える。しかし、それはプロンプトが重要でなくなるという意味ではない。Jevを改善したのと同じ精密なプロンプトをこれらの高性能モデルに適用すると、彼らは「迷ったらAIジャッジに送る」という安全策を取りすぎて、正しくコードで処理できたはずのものをAIジャッジに送り、結果として正答率が低下した。そして、これらの高性能モデルは、処理コストも処理にかかる時間も桁違いに高くなる。結局のところ、プロンプトは依然としてAIモデルの性能を左右する最大の要因であり、モデルは「間違いのコスト」を決定するに過ぎないのだ。

別の発見もあった。私たちは「Berkeley Function Calling Leaderboard」という公開されているベンチマークデータでも実験を行った。このデータでFlash-Liteを試したところ、本来なら「関数に当てはまらない」とされている項目で、Flash-Liteが正しく関数を呼び出せると判断するケースが複数見られた。詳しく調べてみると、なんとベンチマークデータ自体に誤りがあり、Flash-Liteが正しかったのだ。安価なモデルでも、実務に適用することで既存の公開データセットの欠陥を発見できる可能性があるという、興味深い結果だった。

最終的に、最もコスト効率が高く、かつ信頼性の高いシステムを構築するために私たちがたどり着いた結論は、JevとFlash-Liteを組み合わせる戦略だった。Jevはルーティング（分類）に特化し、特定のチェック項目がどの処理方法に適しているかを判断し、その確信度を返す。もしコードでの処理が可能だと判断され、さらに引数（処理に必要な具体的な情報）が必要な場合は、次にFlash-Liteがその引数を生成する。

なぜこの組み合わせが単独のモデルよりも安くなるのか。理由は二つある。 一つ目は、Flash-Liteへの呼び出し回数が大幅に減るからだ。AIジャッジに送られるチェック項目は、Jevが既に振り分けているため、Flash-Liteが関与する必要はない。これにより、Flash-Liteへの呼び出しは全体の4割未満で済む。 二つ目は、Flash-Liteに送るプロンプトが大幅に短くなるからだ。単独でFlash-Liteを使う場合、安全なルーティング判断のために、多くの具体例を含んだ長いプロンプトが必要だった。しかし、組み合わせではJevが既にルーティング判断を終えているため、Flash-Liteには「このチェック項目を、このチェッカーで処理するとして、必要な引数を教えてください」という短い指示だけで済む。これは元のプロンプトの約7分の1の長さになる。

これらの相乗効果により、JevとFlash-Liteの組み合わせは、Flash-Lite単独で運用するよりも、約5分の1のコストで済むことが判明した。遅延は少し増えるが、コストの大幅な削減は非常に魅力的だ。

この一連の実験から得られた重要な教訓はいくつかある。 まず、Gemini Flash-Liteは、ほとんどの分類タスクにおいて、高速かつ安価でバランスの取れた非常に優れたモデルであり、Googleの「隠れた名作」と言える。多少曖昧なプロンプトにも対応できる柔軟性も持っている。 次に、プロンプトの設計は、AIモデルの性能を左右する最も大きな要因であるということだ。たった一文の変更が、Jevの性能を劇的に改善させた例が示すように、AIモデルの特性を理解し、適切な指示を与えることが不可欠だ。時には、具体例を増やすことが逆効果になることさえある。 そして、他者の評価や宣伝に惑わされず、自分たちの実際のデータを使ってモデルを評価することの重要性だ。最新で最も話題のモデルが必ずしも最高の選択肢とは限らない。自分たちのシステムに最適なのは何かを、実証データに基づいて判断することが、真にコスト効率の高い、信頼できるシステムを構築する鍵となる。今回のケースでは、Jevの高速性・安価さと、Flash-Liteの柔軟性・引数生成能力を組み合わせることが、最も優れた結果を生み出したのだ。