【ITニュース解説】Minos.NET: Asking a Model a Question It Can Answer With a Number

Minos.NETは、大規模言語モデル（LLM）の回答を実用的なアプリケーションに組み込み、その回答に基づいて自動で次の行動を決定できるようにするライブラリである。これまでのLLMとのやり取りでは、アプリケーションがモデルに具体的な質問を投げかける際、「はい/いいえ」や特定の選択肢を示すJSON形式の文字列が返されることが一般的だった。しかし、この回答が「どれくらい確信を持って述べられたものなのか」という、モデルの確信度を示す数値が提供されないため、最終的な判断を人間が行う必要があった。Minos.NETは、この課題を解決し、モデルの回答と同時にその確信度を数値で取得することで、より高度な自動化を実現することを目指している。

このライブラリは、特にTypeSafe社が提供するJevモデルという、質問に対して確率で回答を返すタイプのモデルに対応する非公式の.NETクライアントとして開発された。Minos.NETという名前は、ギリシャ神話の審判者ミノスに由来しており、ライブラリの役割が「判断を下す」ことにあることから名付けられた。

Minos.NETは、主に三つの異なる形式の質問に対応し、それぞれに特化した型の回答を提供する。一つ目は「Noul（ヌール）」と呼ばれる形式で、これは「はい/いいえ」で答えられる二択の質問に対応する。モデルは「はい」である確率を単一の数値として返し、この確率そのものがモデルの確信度となる。二つ目は「Choice（チョイス）」で、複数の選択肢の中から一つを選ぶ質問に利用される。この場合、モデルは最も可能性が高いと判断した選択肢、その選択肢に対する確信度、そして他のすべての選択肢に対するそれぞれの確率を返してくれる。三つ目は「Score（スコア）」で、これは「最悪から最高」のような順序付けられた段階の中から選択する質問に適している。例えば、顧客満足度を1から5の段階で評価するといったケースで使う。Scoreでは、最も可能性が高いとされたレベルだけでなく、各レベルの確率を考慮した「確率加重平均の期待レベル」も提供される。この期待レベルは、特定の閾値を超えたら何かを実行するといった判断や、重み付けされた合計値の入力としてより適している。これらの回答はすべて軽量な構造体（struct）として返されるため、メモリの確保が発生せず、高速に処理できるという利点がある。

開発者は、質問をC#の型として宣言し、選択肢をenumとして定義することで、Minos.NETを簡単に利用できる。Minos.NETは「ソースジェネレーター」という機能を利用しており、コンパイル時に、リクエストの作成やモデルからの回答解析に必要なコードが自動的に生成される。そのため、実行時に型情報を動的に探す「リフレクション」を使用する必要がなく、高速に動作し、さらにNative AOT（事前コンパイル）環境でも実行可能である。エラーが発生した場合も、キーの拒否、レート制限、タイムアウト、不正なレスポンスといった問題がすべて「型付きの値」として返されるため、例外処理ではなく通常の戻り値として扱うことができ、より堅牢なアプリケーションを構築できる。

Minos.NETの中心的な設計思想は、「確信度ルーティング（Confidence Routing）」と呼ばれるパターンにある。これは、モデルの回答内容だけでなく、その回答の「確信度」を基準にして、アプリケーションが次に取るべき行動を決定するという考え方である。例えば、「荷物の追跡情報を提供する」といった、間違っても大きな損害が発生しないアクションであれば、モデルの確信度が多少低くても自動で実行してよい。しかし、「誤って払い戻しを行う」といった、間違いが金銭的な損失に直結するアクションであれば、より高い確信度が求められるか、あるいは人間の確認を挟むべきだろう。このパターンでは、各アクションごとに「間違った場合のコスト」に応じて異なる確信度の閾値を設定し、モデルの回答と確信度に応じて、「自動実行する」「人間の確認を求める」「直接人間にタスクを割り当てる」といった判断を動的に行う。

このライブラリは特定のベンダーに縛られず、「プロバイダー中立」な設計がなされている点も大きな特徴である。質問と回答はIDecisionClientというインターフェースの背後にある中立的なモデルで扱われ、実際の通信プロトコルはアダプターとして提供される。これにより、TypeSafeのJevモデル、OpenAI、または自分で構築したサーバーなど、様々なLLMサービスと連携できる。Minos.NETは、どんな決定エンドポイントに対してもその形状、確率、エラー、モデルなどをチェックするための適合性テストスイートを提供しており、自社でホストするサーバーであっても、外部サービスと同等の品質基準を満たせるよう検証できる。

さらに、Minos.NETは.NET開発者が期待する多くの機能を備えている。依存性注入（DI）によるクライアント管理、キャッシングやレート制限をパイプラインステージとして簡単に組み込める機能、OpenTelemetryによるトレースとメトリクス（アプリケーションの挙動を監視・計測する仕組み）、そしてコンパイル時に不正な質問セットを検出して修正を提案するアナライザーとコード修正機能などが含まれる。

バージョン1.3以降では、Minos.NET.Recordingという機能が追加され、アプリケーションが行ったすべての決定を記録できるようになった。この機能はパイプラインステージとして動作し、各決定をファイルや任意のストレージに書き込む。後から、この記録された決定に対し、レビュー担当者が承認した回答など「実際に何が起こったか」という情報を、決定のIDを使って紐付けることが可能だ。この記録は、モデルの性能を評価するための「ラベル付きデータセット」として活用できる。これにより、自社の実際のトラフィックに基づいてモデルの精度を測定し、改善につなげられる。この記録ステージは、元のクライアントの結果には一切影響を与えず、記録される前に機密情報が自動的に匿名化され、プライバシーとセキュリティにも配慮されている。

モデルの確信度は、どこで自動化を停止し、人間に介入させるべきかという「カットオフ点」を知って初めて有用となる。Minos.NETは、この閾値（しきいち）選びを支援するためのガイドも提供している。このガイドでは、サンプルデータセットを様々なモデルに対して実行し、それぞれのモデルの精度、校正の良さ、コスト、速度を比較検討する。そして、これらの結果に基づいて最適な閾値を選択するプロセスを詳しく解説する。minos dotnetというコマンドラインツールを使えば、同じような校正とレポート作成を独自のデータセットに対しても実行できる。

Minos.NETは、安定版の1.xとして提供されており、主要な機能は9つのNuGetパッケージとして提供されている。プロバイダーに依存しないコアライブラリ、ソースジェネレーター、アナライザー、TypeSafeのSystemOneクライアント、OpenAIクライアント、依存性注入のサポート、キャッシングとレート制限のステージ、ラベル付きデータセットの管理、決定の記録、そして校正やレポート作成、適合性テストのためのminosツールなどが含まれる。また、提供されるサンプルは記録された回答を再生するため、APIキーなしでオフラインでも実行できる。Minos.NETは、メモリ割り当てを最小限に抑えるZeroAllocライブラリに基づいて構築されており、高いパフォーマンスを追求している。

Minos.NETは、大規模言語モデルを実用的なアプリケーションに統合し、自動化と信頼性を高めたいシステムエンジニアにとって非常に価値のあるツールとなるだろう。