【ITニュース解説】Judge cheap, audit confidence: a CI gate for LLM evals (open source)

大規模言語モデル（LLM）は近年目覚ましい進化を遂げ、多くのデモンストレーションで素晴らしい性能を見せている。しかし、実際にシステムに組み込んで運用を始めると、「デモでは問題なかったのに、予期しないユーザーからの質問にはうまく答えられない」という事態に直面することが少なくない。これは、開発時に測定していた「モデルがどれだけ正しく答えられるか（精度）」という指標だけでは、本番環境で求められる「モデルが自信を持って答えたときに、その自信がどれだけ信頼できるか」という重要な側面を捉えきれていないためだ。

このようなLLMの評価におけるギャップを埋め、より信頼性の高いモデルを開発・運用するためのオープンソースツールが「laya-evals」である。これは、一連のlayaシリーズのツール群の一つであり、他のツールが提供する機能の品質を保証する役割も担っている。

laya-evalsの主な機能は三つある。一つ目は「Rubric-based LLM-as-judge」だ。これは、評価したいLLMの回答を、別のLLMが人間のように採点・判断するという手法である。通常、このような評価を行う際には、GPT-4のような高性能だが高価な外部APIを利用することが多い。しかしlaya-evalsでは、ローカル環境で動作するlaya決定モデルを評価役として利用できる。これにより、外部サービスに費用を支払うことなく、プライバシーを保護しながら、高速に評価を実行できる点が大きな利点だ。具体的には、CPU上で毎秒6.4回の判断が可能であり、選択問題、点数付けが必要な問題、さらには正解データがないような状況でも評価が行える。評価は事前に定義された明確なルール（ルブリック）に基づいて行われるため、一貫性のある客観的な評価が期待できる。

二つ目の機能は「Calibration audit」、つまり「信頼度監査」である。モデルが「正解である」と予測する精度も重要だが、それ以上に「モデルがどれくらいの自信を持ってその答えを出したか」という信頼性（キャリブレーション）は、実際のシステム運用において極めて重要になる。例えば、医療診断のようなミスの許されない分野では、モデルが99%の自信を示した場合、それが本当に99%の確率で正しいと言えるかが問われる。laya-evalsは、モデルの予測がどれだけ信頼できるかを示す指標として、「Expected Calibration Error (ECE)」や「Brier score」などを計算する。ECEは、モデルが示す自信の度合いと実際の正解率とのズレを示すもので、この値が小さいほど、モデルの自信が信頼できることを意味する。Brier scoreも同様に、予測の正確さと不確かさを測る指標である。さらに、このツールは質問の形式（例えば、選択肢が2つの問題と20の問題では大きく異なる）に応じて、どの程度の自信があればその回答を信頼して良いかという「信頼度しきい値」を推奨してくれる。これは、一律な信頼度設定では不十分であり、状況に応じた柔軟な設定が不可欠であることを示している。これにより、モデルが「自信がある」と言った時に、それが本当に信頼できるのかどうかを客観的に判断できるようになる。

三つ目の機能は「CI regression gate」、つまり「継続的インテグレーション（CI）における回帰防止ゲート」だ。CIとは、ソフトウェア開発においてコードの変更を頻繁に統合し、自動的にテストを行うことで、バグの早期発見や品質維持を目指すプラクティスのことである。laya-evalsは、このCIパイプライン（例えばGitHub Actions）に組み込むことができる。これにより、LLMの精度や信頼度（キャリブレーション）が、新しいコードの追加やモデルの更新によって低下した場合、自動的にビルドプロセスを停止させることができる。これは、評価結果を単なる参考情報として扱うのではなく、システム品質を保証するための必須の「門番」として機能させるということだ。もし品質が基準を満たさなければ、システムが本番環境へデプロイされることを防ぎ、問題のある変更が混入するリスクを排除する。

実際に、laya-evalsを使ってSST-2という二択のテキスト分類ベンチマークデータセットを評価した結果では、ローカルのlayaジャッジが金字塔となる正解データに対して0.8968の精度、そしてCohen's kappaという合意度を示す指標で0.7938という高い値を示した。キャリブレーションエラーを示すECEは0.0253と非常に低く、モデルの自信が信頼できることを示唆している。これらの評価はAPIコスト0ドルで、毎秒6.4回の高速な処理で行われる。外部の高性能な参照モデルと比較しても、ローカルジャッジは安価でありながらも非常に信頼性が高いことが確認されている。

laya-evalsは、他のlayaシリーズのツールと連携して利用される。例えば、laya-routerはLLMへのリクエスト経路を最適化してコストを54.9%削減し、laya-compactorはRAG（検索拡張生成）におけるトークン数を70%削減しながら回答品質を維持する。laya-triageはサポート対応のトリアージ精度を向上させ、laya-phishieldは説明可能なフィッシング検出機能を提供する。laya-evalsは、これらのツールの性能を継続的に測定し、品質が劣化していないことを保証する役割を果たす。このシリーズの全てのツールはオープンソースとして公開されており、そのベンチマークデータも透明性を持って提供されている。

このようにlaya-evalsは、LLMの評価を単なる精度測定で終わらせず、その「自信」の信頼性まで深く掘り下げて評価することを可能にする。また、その評価プロセスを開発サイクルに組み込むことで、高品質で信頼できるLLMシステムを継続的に構築・運用するための強力な支援となる。システムエンジニアを目指す上で、このようなツールの活用は、AIシステムの品質管理と信頼性向上における重要な視点とスキルを身につけることにつながるだろう。