【ITニュース解説】LLM judge rubrics in 2026: promptfoo vs DeepEval vs my builder
2026年10月13日に「Dev.to」が公開したITニュース「LLM judge rubrics in 2026: promptfoo vs DeepEval vs my builder」について初心者にもわかりやすく解説しています。
ITニュース概要
LLMの応答評価には`promptfoo`や`DeepEval`といったツールがあるが、最も重要なのは評価基準(ルブリック)の正確な設計だ。基準の不備はツールの違い以上に結果に影響する。評価前にルブリックをしっかり検証し、精度を上げることが重要だ。
ITニュース解説
近年、大規模言語モデル(LLM)の発展は目覚ましく、私たちの生活やビジネスのさまざまな場面でAIが活用されるようになってきた。システムエンジニアを目指す皆さんにとって、これらのLLMがどのように動作し、その性能がどのように評価されるのかを理解することは非常に重要である。特に、AIが生成するテキストの品質や正確性を評価する作業は、AIを実用的なシステムに組み込む上で欠かせない。しかし、AIの出力は多岐にわたるため、人間の手で一つ一つ評価するのは時間もコストもかかる。そこで注目されるのが、「LLMジャッジ」という、別のLLMに評価対象のLLMの出力を評価させる技術だ。
LLMジャッジは、人間が行う評価作業をAIに肩代わりさせることで、評価プロセスを自動化し、高速化、効率化する。これにより、開発者はより頻繁にAIの性能をチェックし、改善サイクルを回すことができる。このLLMジャッジを正確に行うためには、「ルーブリック」と呼ばれる明確な評価基準が不可欠となる。ルーブリックとは、具体的にどのような点を、どのような尺度(例えば、1から5の段階評価や、合格/不合格)で評価するのか、それぞれの評価項目にどの程度の重要度(重み)を与えるのかを定義した「評価のルールブック」のようなものである。このルーブリックが不明確だったり、矛盾を抱えていたりすると、どんなに優れた評価ツールを使っても正確な結果は得られない。
今回、筆者は、ある企業のサポートアシスタントAIが、顧客の返金リクエストに対して、社の返金ポリシーを正確に理解し、適切に回答できているかを検証する、という具体的な課題に取り組んだ。検証の対象は、AIが実際に生成した40件の返金に関する顧客への返信文である。この検証では、以下の3つの評価項目(基準)を設定した。一つは「ポリシーの正確性」で、返金ポリシーを顧客の状況に合わせて正しく説明しているか(重要度0.5、1-5段階評価)。二つ目は「次のステップの明確さ」で、顧客が次に何をすべきか、いつまでにそれが完了するかを明確に伝えているか(重要度0.3、1-5段階評価)。三つ目は「トーン(口調)」で、顧客を責めたり、過度にへりくだったりしていないか(重要度0.2、合格/不合格)。これらの項目を評価し、それぞれの評価を合計した加重スコアが0.7以上であれば「合格」と判断するルールとした。
まず、筆者はこれらの40件の返信文すべてを自分自身で手作業で評価し、その結果を「正解」として設定した。この「手作業での正解」と、LLMジャッジツールが導き出す結果がどれだけ一致するかを確認することが、今回の検証の目的である。検証の初期段階では、ルーブリックの設定にいくつかの誤りがあった。例えば、評価項目の重みを合計すると本来1.0になるべきところが1.1になっていたり、合格/不合格の2段階評価であるべき項目に、誤って5段階評価の基準を記述してしまっていたりといったミスである。これは、ツールの性能評価よりも、ルーブリック自体の設計がどれほど重要かを示す一例となる。
次に、このルーブリックを使って二つの主要なLLMジャッジツール、「promptfoo」と「DeepEval」の性能を比較した。
まず「promptfoo」についてだ。このツールは、YAMLという設定ファイルを記述する形式で評価基準を設定し、CI/CD(継続的インテグレーション/継続的デリバリー、つまりソフトウェア開発の自動化プロセス)のような開発フローに組み込みやすい特徴がある。筆者の使用経験では、セットアップが比較的簡単で、実行速度も速く、評価にかかるコストも低めだった。しかし、ルーブリックの誤り、例えば重みの合計が1.0でない場合でも、特に警告することなく計算を進めてしまうという側面があった。また、評価尺度を直接指定するのではなく、0から1の範囲で正規化されたスコアで考えさせる必要があり、例えば1から5段階のような評価尺度をそのまま使いたい場合には少し工夫が必要だった。初期の検証では、手作業の評価との一致率は40件中34件だったが、ルーブリックの誤りを修正した後には37件に向上した。複数回実行した場合の評価結果のブレも比較的少なかった。
次に「DeepEval」である。このツールは、Pythonのテストフレームワークであるpytestと連携し、「G-Eval」という機能を用いて評価を行う。このG-Evalの大きな特徴は、評価の際に、AIが「なぜこの評価になったのか」という理由付けを詳細に生成する点にある。筆者は、セットアップにpromptfooよりも時間がかかったが、これは複数の評価項目をどのように統合するかを検討する必要があったためだ。実行速度やコストはpromptfooよりやや高い傾向にあった。DeepEvalの優れた点は、詳細な理由付けを提供するため、AIの出力がなぜ問題なのか、どのように改善すべきかを理解する上で非常に役立つことである。しかし、デフォルトの設定では、評価を行うたびにAIが評価ステップや理由を再生成するため、評価結果にブレが生じやすいという課題があった。実際、複数回の実行で40件中7件もの返信で合格/不合格の判定が変動した。このブレは、評価ステップを開発者が事前に定義し固定することで大幅に減らすことができ、その結果、一致率と安定性が向上した。評価ステップを固定した後の手作業評価との一致率は36件だった。
そして、これらのツールを使う前の準備として、筆者が自作した「ルーブリックビルダー」というものが今回の検証で最も重要な役割を果たした。このビルダーは、LLMを呼び出して評価を実行するツールではなく、評価基準であるルーブリックを作成し、その整合性を検証することに特化している。例えば、重みの合計が1.0になっているか、評価尺度(例えば5段階評価)とそれに紐づく具体的な基準(アンカーと呼ばれる)が一致しているか、といった基本的な構造上の誤りを自動的にチェックしてくれる。前述の「重み合計1.1」や「合格/不合格の項目に5段階評価のアンカー」といった初期のルーブリックの誤りは、このビルダーによって発見された。このビルダーでルーブリックを正確に修正し、その修正されたルーブリックを使ってpromptfooとDeepEvalを再度実行したところ、両ツールの手作業評価との一致率がさらに向上した。この結果は、評価ツールそのものの性能差よりも、ルーブリック自体の品質が評価結果に与える影響がいかに大きいかを明確に示している。
以上の検証から得られた教訓と、システムエンジニアを目指す皆さんへの推奨事項は以下の通りだ。 LLMの評価を効率的かつ正確に行うためには、評価に使うツールを選ぶ前に、まず評価基準であるルーブリックを徹底的に吟味し、その正確性と整合性を検証することが最も重要である。ルーブリックの小さな誤りが、ツールの性能差を上回るほど、評価結果に大きな影響を与えることが分かった。筆者は、まずは「ルーブリックビルダー」のようなツールや、あるいは自分で簡単なスクリプトを書いてでも、ルーブリックの構造的な誤りがないかをチェックすることを強く推奨する。
その上で、日々の継続的な評価サイクルには、設定が容易で実行が速く、コストも低い「promptfoo」を活用するのが良いだろう。これは特に、YAML形式の設定を好み、CI/CD環境に評価を組み込みたい場合に適している。一方、もし特定の評価項目でAIの出力が頻繁に失敗し、その原因を深く掘り下げてデバッグする必要がある場合は、「DeepEval」のG-Eval機能が非常に役立つ。特に、AIが生成する詳細な理由付けは、問題の本質を理解し、AIモデルを改善する上で貴重な情報となる。ただし、DeepEvalを使う際は、評価結果の安定性を確保するために、G-Evalの評価ステップを事前に定義し、固定することを忘れてはならない。
この検証は40件という比較的小規模なデータセットに基づいているため、より複雑な評価や大規模なシステムにおいては、さらに詳細な検討と調整が必要になるだろう。しかし、ルーブリックの重要性という本質的な教訓は、どんな規模のプロジェクトにおいても変わらない。