【ITニュース解説】Inside the eval gate: how we decide a cheaper model can take over a task

Operantというシステムは、これまで実行してきたタスクを、より安価なAIモデルへと効率的に切り替えるための仕組みを提供している。この切り替えは「評価ゲート」という厳格なプロセスを経てのみ実行される。このプロセスは、コストを削減しつつも、タスクの品質が維持されることを保証するためのものだ。

新しいAIモデルやスキルが提案されると、それはまず「シャドウ」と呼ばれる非稼働状態で開始される。この状態では、実際のシステムに影響を与えることなく、新しいルールが提案される。このルールは、特定の会話パターンを、特定のターゲットモデルと特定のスキルバージョンで処理するというものだ。そして、このシャドウ状態から実際に稼働する「アクティブ」状態へと移行する際に、評価ゲートが唯一の関門として機能する。

評価ゲートがタスクの品質を評価する際には、事前に用意された「ホールドアウトセット」と呼ばれるデータが用いられる。Scribeという別のシステムが、会話パターンを学習する際に、データの一部を「学習セット」としてスキルの学習に使い、残りの約4分の1をこのホールドアウトセットとして分離する。スキルは学習セットからのみ学習するため、評価ゲートでは、スキルが学習に使っていないホールドアウトセットのデータを使って評価を行う。これは、スキルが過去に見たことのないデータに対しても、きちんと機能するかどうかを確認するためだ。評価は、コストの高い会話から優先的に行われる。これは、そのような重要な会話において、新しいモデルが問題なく処理できることが特に重要だからだ。デフォルトでは、最大5つの会話が評価に使われる。もし会話テキストが不足しているパターンがある場合、ゲートは目標の要約から「単一ターン」のタスクを作成し、それを合成データとして評価に用いる。これらの合成データによるスコアは、証拠としての信頼性が低いことを示すためにマークされる。

評価ゲートでは、ホールドアウトセットに含まれる各会話について、ユーザーからの質問や指示（ユーザーターン）を2つの異なる方法でリプレイする。一つは「ベースラインアーム」と呼ばれ、その会話が過去に最も多く使っていたモデルを使って応答を生成する。もう一つは「候補アーム」と呼ばれ、切り替えを検討しているターゲットモデルと、それに適用されるスキルを使って応答を生成する。この比較のポイントは、ベースラインが固定された一つのモデルではなく、各会話が実際に使っていたモデルである点だ。これにより、新しいモデルが、現在実際に運用されているシステムと比較してどうであるかを正確に評価できる。

応答が生成されると、LLM（大規模言語モデル）をベースとした「判定役」が登場し、ユーザーの質問と、ベースラインおよび候補アームからの2組の回答を読み込み、それらを比較して「パリティスコア」と呼ばれる評価を付与する。パリティスコアは、1.0、0.5、0.0の3段階で評価される。1.0は候補がベースラインと同等かそれ以上に目標を達成したことを意味し、0.5は目標の一部を達成したことを、0.0は目標を達成できなかったことを示す。判定役は、目標達成度、正確性、完全性を評価項目とし、回答のスタイルや長さは評価しない。さらに、なぜそのスコアになったのかを説明する一文も生成する。デフォルトの判定モデルは高性能なモデルが使用され、その情報もコンソールに表示される。評価ゲートは、このパリティスコアの平均が0.8以上であれば「合格」となる。コンソールには「Gate 95%」のように、合格率が表示される。

評価ゲートに合格したとしても、それだけでは安価なモデルへの切り替えは行われない。最終的に、人間がその変更を「承認（ratify）」する必要がある。人間が承認ボタンをクリックして初めて、新しいルールがアクティブとなり、該当する会話パターンがターゲットモデルへとルーティングされる。この際、学習されたスキルも、ルーティングされた各呼び出しのシステムプロンプトに組み込まれ、モデルの性能を向上させる。この一連の経路は、システムの分析画面でも確認できる。

もし、ターゲットモデル、スキルバージョン、または圧縮設定といった、新しいルールを構成する要素のいずれかを変更した場合、Operantは以前の評価レポートをクリアする。この場合、変更されたルールを再びアクティブにするには、評価ゲートをもう一度実行して合格する必要がある。すでにアクティブになっているルールに対してターゲットモデルを変更したい場合は、一度そのルールを「シャドウ」状態に戻してから変更を行い、再び評価ゲートを通過させる必要がある。

万が一、新しいモデルの性能に疑問が生じた場合や、予期せぬ問題が発生した場合は、「シャドウに戻す」ボタンを一度クリックするだけで、即座にその会話パターンを以前使用していたモデルへと戻すことが可能だ。この「シャドウに戻す」操作には評価ゲートは不要であり、リスクを素早く回避できる仕組みが用意されている。

このように、Operantの評価ゲートは、安価なAIモデルへの移行を慎重かつ段階的に進めることで、コスト削減とサービス品質維持という相反する目標を両立させるための重要なプロセスとなっている。