【ITニュース解説】WaterSheep: an open-source alternative to Jev

システム開発の世界では、AIや機械学習の進化によって様々な課題が解決されてきている。中でも注目を集めているのが、単にテキストを生成するだけでなく、具体的な「意思決定」を助けるモデルだ。今回は、そのようなモデルの一つである「Jev」というサービスとそのオープンソース版「WaterSheep」について解説する。

Jevは、テキストの内容から具体的な判断を下すというシンプルなアイデアを提示し、多くの開発者に支持された。例えば、顧客からの問い合わせ内容を分析し、「これは払い戻しが必要か？」「どの担当チームが対応すべきか？」といった問いに対し、明確な答えを導き出すようなイメージだ。テキストを生成する大規模言語モデルとは異なり、Jevは送られてきた情報（「状態」と呼ばれるテキストデータと、それにまつわる「質問」）に基づいて、選択肢の提示、評価のスコア、そして各判断の確率という形式で結果を返す。システムはこれらの結果を受け取って、次のアクションを自動的に実行できるようになる。しかし、Jevはクローズドなサービスであり、利用するたびに料金が発生するという制約があった。

このJevのコンセプトに魅力を感じつつも、オープンな代替を求める声に応える形で開発されたのがWaterSheepだ。WaterSheepは、Jevと同じように、入力された情報（テキストデータと質問）から具体的な意思決定の結果を返す。その結果は、システムが自動的に次のアクションを起こすために利用できる形になっている。WaterSheepが提供する主な質問形式と回答は次の通りだ。

まず、「noul（ヌール）」という形式は、YesかNoの二択で答えを求める。例えば、「この顧客は返金を要求しているか？」という質問に対し、「Yes」または「No」を返すだけでなく、その「Yes」である確率も同時に提示する。これにより、システムはその確率が非常に高ければ自動的に返金処理を開始し、確率が低ければ人間による確認を促す、といった判断ができるようになる。

次に、「choice（チョイス）」は、複数の選択肢の中から一つを選ぶ形式だ。「この問い合わせはどのチームが対応すべきか？」という質問に対し、「経理」「発送」「技術」といった選択肢の中から最適なものを一つ選び、さらにそれぞれの選択肢が選ばれる確率も合わせて教えてくれる。最も確率の高い選択肢を基に、問い合わせを適切な部署へ自動で振り分けることが可能になる。

「score（スコア）」は、段階的な評価を求める形式だ。「この問い合わせの緊急度はどのくらいか？」といった質問に対して、「低」「中」「高」といった尺度で評価を行い、具体的な数値と、その数値がどの評価レベルに相当するかの情報を提供する。これにより、緊急度の高い問い合わせから優先的に処理するといった対応が可能になる。

そして、WaterSheep独自の機能として「multi（マルチ）」がある。これは、複数の選択肢の中から当てはまるものを全て選ぶ形式だ。例えば、「この顧客はどのような問題を報告しているか？」という質問に対し、「二重請求」「破損品」「配達遅延」といった選択肢の中から、該当するものを全て選び出す。それぞれの問題に対する確率は個別に提示されるため、複数の問題を抱える顧客にもきめ細かく対応できる。Jevにはこの「multi」機能がなく、WaterSheepの大きな利点の一つと言えるだろう。全ての回答において、それぞれの選択肢や可能性に対する「確率」が必ず含まれる点が、WaterSheepの大きな特徴であり、開発者がシステムに柔軟な判断をさせる上で非常に有用だ。

WaterSheepは、システムに組み込むための様々な利用方法を提供している。すでにJevを利用している開発者にとっては、その移行が非常に簡単である点が大きなメリットだ。WaterSheepはJevと同じ「リクエストとレスポンスの形」で動作するため、TypeSafeが提供しているPython SDK（ソフトウェア開発キット）をそのまま利用できる。具体的には、WaterSheepをローカルサーバーとして起動し、SDKが通信する先のURLをWaterSheepが動作しているアドレスに変更するだけで、既存のJevコードを動かすことが可能になる。これにより、Jevで動いていたシステムをほぼコードの変更なしにWaterSheepに切り替え、オープンソースの利点を享受できる。

SDKを使用しない場合でも、WaterSheepは標準的なHTTP通信で利用できる。つまり、curlコマンドのようなツールや、Python、JavaScriptなど、ほとんどのプログラミング言語から簡単にAPI（アプリケーションプログラミングインターフェース）を呼び出して、WaterSheepの機能を使うことが可能だ。これも、開発者が自身のシステムにWaterSheepを組み込みやすい大きな要因となる。

さらに、WaterSheepはサーバーを立てずに、Pythonのtransformersライブラリを使って直接プログラム内で利用することもできる。これは、小規模なスクリプトや実験的な利用において、環境構築の手間を大幅に削減できるため、システムエンジニアを目指す初心者にとっても非常に手軽に試せる方法だ。

WaterSheepの性能については、開発者がテストを行い、その結果を公開している。未知のデータセットに対する精度は61.2%とされており、これはモデルがどれだけ正確に判断できるかを示す指標だ。また、提供される「確率」が「キャリブレーションされている」という点も重要だ。これは、モデルが「90%の確率でYes」と判断した場合、実際に90%のケースでYesである、という信頼性があることを意味する。これにより、開発者はこの確率を基準にして、「90%以上の自信がある場合は自動処理、それ以下の場合は人間が確認する」といった具体的な閾値を設定し、自動化と人手による確認をバランス良く組み合わせたシステムを構築できる。

しかし、WaterSheepにも限界はある。現在は英語の入力にのみ対応しており、非常に長い入力テキストは途中で切り捨てられる可能性がある。また、「score（スコア）」のような評価尺度を問う質問は、他の質問タイプに比べて精度がやや低い傾向にあるとされている。そして、WaterSheepはあくまで「意思決定の補助」ツールであり、単独で非常に重要度の高い判断（例えば、医療診断や金融取引の承認など）を行う用途には推奨されていない。モデルの判断を鵜呑みにせず、人間のチェックを適切に組み込むことが、安全で信頼性の高いシステムを構築する上で不可欠だ。

WaterSheepの最も特筆すべき点は、その「オープンソース」であるという哲学だ。WaterSheepのコードはもちろんのこと、モデルが学習に使用したデータやその学習方法、さらにはモデルの「重み」（学習によって得られた知識の塊）まで、全てがApache 2.0という非常に自由度の高いライセンスで公開されている。これは、開発者コミュニティにとって計り知れない価値がある。

オープンソースであるため、開発者はWaterSheepの内部動作を自由に確認し、どのように意思決定が行われているかを理解できる。また、必要であれば、自分たちの特定のビジネスニーズに合わせてコードを修正したり、機能を拡張したりすることも可能だ。さらに、提供されているスクリプトを使えば、自分たちの手元にあるデータを使ってWaterSheepを再学習させること（ファインチューニング）もできる。これにより、特定の業界の専門用語や、自社の製品・サービスに特化した質問に対する判断精度を向上させるといったカスタマイズが可能になる。

このように、WaterSheepは単なるツールではなく、開発者が自由に手を加え、改善し、自身のシステムに深く統合できるプラットフォームを提供する。Jevが提示した革新的なアイデアを、より多くのシステムエンジニアがアクセスし、利用し、そして改善していけるようにするという点で、WaterSheepは非常に重要な役割を果たすと言えるだろう。開発者からのフィードバック、特にモデルが誤った判断をした具体的な事例は、今後のWaterSheepの発展のために大いに歓迎されている。