【ITニュース解説】Jev After Eight Days of Independent Tests: Level With Mid-Price LLMs, Behind the Frontier

TypeSafe AIが提供するJevは、2026年9月15日に登場した新しいタイプのAIモデルである。これは「システムワンモデル」と呼ばれ、人間が素早く直感的に判断するように、与えられたテキストに対して迅速に特定の質問に答えることに特化している。Jevはテキストを生成するのではなく、選択肢から一つを選ぶ、テキストを数値で評価する、あるいはある記述が真実である確率を返すといった、決まった形式の応答を返すモデルだ。

JevのAPIはapi.typesafe.aiを通じて利用でき、入力トークン100万個あたり0.042ドルの料金設定で、出力は無料である点が特徴だ。アクセスには待機リストがあるものの、OpenRouterやVercelのAI Gatewayからも利用できる。

このニュース記事では、Jevがどれほどの性能を持っているかを独立した立場で検証している。そのために、学術論文のプレプリント、GitHubリポジトリ、ブログ記事、TypeSafe自身の情報源など、多数の情報を集めて分析している。評価の信頼性も段階的に分類されており、実際に計算をやり直して確認したもの、公表された表から計算を追跡したもの、筆者の主張のみのものがある。また、評価を行った主体がJevと利害関係にあるかどうかも考慮されている。例えば、Jevの開発パートナーや競合製品を販売する企業による評価は、その内容を注意深く見る必要があるとしている。

Jevの精度は、中価格帯の大規模言語モデル（LLM）と同レベルであり、最先端のLLMには6.5から11.5ポイントほど及ばない。しかし、その分価格は最先端モデルよりも大幅に安いというトレードオフがある。例えば、ある大規模な人間がラベル付けしたデータセットを用いた研究では、Jevは15のタスクのうち14で、最も性能の良い19のLLMの後塵を拝した。価格帯が近いモデルの中では、Gemma 4 31BやQwen3 235BがJevより数ポイント高いスコアを出している。

Jevが得意とするのは、二者択一や少数の選択肢から判断を下すようなタスクだ。スパムメールの検出では98.33%という高い精度を達成し、これは伝統的な機械学習手法であるTF-IDFロジスティック回帰と同レベルだ。また、新しいメールに対しても安定した性能を発揮する。テキストのリランキングや、コードのバックドア監視といったタスクでも高い性能を示している。特に優れているのは、常に定められた形式の回答を返す「スキーマ遵守」で、数万回の呼び出しで一度も不正な回答を出さなかった。また、同じリクエストを繰り返した場合の回答の一貫性（再現性）も高い。速度も非常に速く、サーバーでの処理時間は約0.1秒と短く、価格も非常に安い。特に、出力が無料であることがコスト削減に大きく貢献している。

Jevが出力する「確率」の信頼性、つまり「キャリブレーション」も評価されている。初期状態では、一般的な英語のタスクにおいて、他の多くのモデルよりも優れたキャリブレーションを示す。しかし、データセットの種類によっては、過度に自信過剰になったり、逆に自信なさげになったりする傾向がある。面白いことに、50〜数百個程度の自社データを使って「温度」と呼ばれるパラメータを調整するだけで、この確率の信頼性が大幅に改善されることが示されている。これはJevだけでなく、同様の方法で動作する他のオープンモデルにも当てはまる改善策だ。

一方で、Jevにはいくつかの弱点もある。質問の表現方法や使用する言語によって性能が低下することがある。例えば、選択肢の名称を入れ替えるだけで、Jevの回答が約3分の1も変わってしまうケースが報告されている。また、入力テキストの中に回答となる情報が含まれていない場合、Jevは誤った答えを高い自信度で返してしまう傾向がある。多言語対応も課題で、ドイツ語やロシア語、スペイン語などのタスクでは精度が低下し、キャリブレーションも悪化することが確認されている。さらに、一度のリクエストで複数の質問をバッチ処理する場合、それぞれの質問の回答が互いに影響し合わないという制約もある。TypeSafe自身も、文字通りの解釈、算術、日付、長すぎる無関係な入力、敵対的なコンテンツなどに弱点があると認めている。

TypeSafeの公式発表では、Jevが他のモデルと比較して「193.6倍速く、444.6倍安い」とされているが、独立した検証では、この数字は特定の比較条件でしか当てはまらないことが示唆されている。平均すると、速度は約97.8倍、コストは約149.2倍安いとされている。また、「幻覚（ハルシネーション）ゼロ」という主張についても、これは「常に有効な形式で回答を返す」という意味であり、回答の内容が必ずしも正しいわけではない、と補足されている。Jevの基盤となる技術や学習データについては、TypeSafeからは詳しく公開されていない点も指摘されている。

Jevの仕組み自体は、過去の研究で確立された技術の組み合わせに基づいている。例えば、「ラベルの尤度で選択肢をスコアリングする」という手法はGPT-3など以前から存在し、「各ラベルを一つのトークンにマッピングする」という手法も使われてきた。Jevの貢献は、これらの既存技術を「タイプ化されたAPI、一つのホスト型エンドポイント、出力無料の価格設定、そして一つのリクエストで多数の質問を評価できる」という形でパッケージ化した点にある。

Jevのオープンソース版や代替モデルも登場している。これらは通常、既存のオープンソース大規模言語モデルを基盤に、Jevと同様の機能を実現するように学習されている。これらのモデルの中には、特定のタスクにおいてJevと同等、あるいはそれ以上の性能を発揮するものもある。特に、特定のタスク向けに自社で少量のラベルデータを使って学習（ファインチューニング）したモデルは、Jevよりも高い精度を出すことができる場合が多い。例えば、少数の日本語データで学習したエンコーダーモデルがJevよりも良い結果を出した事例や、フィッシング詐欺検出タスクで1,000件のラベルデータで学習したモデルがJevを大幅に上回った事例がある。

まとめると、Jevは、大量のデータに対する二者択一や少数のクラス分けといった、特定の英語タスクにおいて非常に高速かつ安価に利用できる強力なツールだ。特に、インフラを自前で用意する手間をかけたくない場合や、まだラベルデータがほとんどない場合に有効な選択肢となる。初期状態での確率の信頼性も高く、少量の自社データで温度パラメータを調整すればさらに改善できる。しかし、多クラス分類、入力テキストから答えを導き出せないようなタスク、非英語のテキスト処理、あるいは質問の表現に敏感に反応してしまうような状況では、その性能が低下する可能性がある。このような場合は、自社のデータで学習したオープンソースモデルや、より汎用的な大規模言語モデルの利用を検討すべきだ。また、機密性の高いデータを扱うためネットワーク外でモデルを実行したい場合は、Gemma 4のようなオープンモデルが選択肢となる。Jevの未公開の技術詳細や、バージョン間の挙動の違いなどは、今後の独立した評価によってさらに明らかになるだろう。