【ITニュース解説】AI on Edge: One forward pass, one letter: a decision model that runs on a laptop

このニュース記事は、私たちが普段利用するAI、特に音声ボットのようなシステムが、より賢く、より素早く、そして安全に動作するための新しいアプローチを紹介している。

多くのAIは質問に対して長文のテキストを生成することで回答する。例えば、「今日のおすすめメニューは何ですか？」と尋ねれば、メニューの説明がずらっと並ぶ。しかし、音声ボットが顧客の「予約を変更したい」という短い一言を受け取った時、必要なのはその顧客の意図が「予約変更」であるという明確な「ラベル」と、その判断にAIがどれくらい自信を持っているかを示す「数字」、つまり「確信度」だ。顧客の意図について何段落も説明する文章は不要で、むしろ処理を遅らせる原因になる。

ここで紹介されているのは、まさにこの「ラベル」と「確信度」を直接提供する「意思決定モデル」というAIだ。このモデルはテキストを生成せず、質問に対する選択肢の中から最も適切なものを一文字で選び、その選択肢に対する信頼度スコアを算出する。そしてこのモデルは、クラウド上の巨大なコンピューターではなく、私たちが普段使うような高性能なノートパソコン（具体的には24GBのメモリを持つMacBook）の上で動作するという点が画期的だ。

このモデルは「Gemma 4 E2B」という既存の軽量なAIモデルをベースにしている。これに「LoRAアダプター」と呼ばれる小さな追加モジュールを取り付け、特定の目的に合わせてカスタマイズ（ファインチューニング）している。LoRAアダプターはわずか52MBと非常に小さく、このおかげで、たった1時間の学習で約5.7GBのメモリしか使わずにモデルをトレーニングできた。特筆すべきは、この学習に高額なクラウド上のAI用コンピューター（GPU）や有料のAPIを一切使っていないことだ。すべてノートパソコン上で完結している。

学習データには、一般に公開されている様々なデータセットのほか、同じノートパソコン上の別のAIが作った「合成データ」も利用された。これにより、モデルは多様な状況に対応できるようになる。 入力形式は常に同じだ。例えば、顧客との会話文があり、それに対して「この顧客は何を要求しているか？」といった質問が続き、最後に「A) 予約変更」「B) 予約キャンセル」「C) 料金について尋ねる」といった選択肢が提示される。

モデルの実際の動作はこうだ。学習段階で、モデルは与えられた入力に対して正解の選択肢（例えば「A」）を一文字で答えるように訓練される。そして、実際に使う時（推論時）は、モデルに自由なテキストを書かせることはしない。入力された情報と選択肢に対して、各選択肢（A、B、Cなど）それぞれがどれくらいもっともらしいかという「生スコア」を一度だけ計算させ、それを読み取る。この生スコアは内部的な数値であり、これを数学的な処理で私たちが理解できる「確率」に変換する。この確率がモデルの「確信度」となる。これにより、モデルは常に有効なラベルを返し、無関係なテキストを生成したり、解析が難しい回答を出したりする心配がない。

この方式を成功させるために、いくつかの工夫が施された。一つは、モデルが特定の文字（例えば「A」）を好みやすいという傾向を打ち消すため、学習時には選択肢の順序をシャッフルし、質問文も少しずつ言い換えて与えたことだ。また、複数の選択肢を選ぶような質問に対しても、それぞれを「はい/いいえ」形式の質問に分解することで、どのような質問にも統一された形式で対応できるようにした。さらに、モデルの生スコアは内部で直接読み取るようにしている。これは、もし外部サーバー経由でスコアを取得する場合、すべての選択肢のスコアが返されず、重要な情報が失われる可能性があるためだ。

これらの工夫によって、このモデルは非常に高い性能を示した。約68,000件のテストデータで検証した結果、モデルの確信度と実際の正解率とのズレ（校正誤差）は非常に小さかった。また、一つの意思決定にかかる時間は平均で約85ミリ秒（最長でも117ミリ秒）と非常に速い。これはノートパソコンのGPUで計測された数値だ。この速さと正確さがあれば、「モデルが80%以上確信している場合は自動で処理を進め、それ以外の場合は人間が対応する」といった具体的なルールを適用できる。

実際のテスト結果を見てみよう。「CLINC150」というデータセットでは、モデルが90%のケースで自信を持って処理し、そのうち98.3%が正解だった。「MASSIVE intent」では79%を処理し、95.4%が正解。「BANKING77」では74%を処理し、92.3%が正解という結果だった。これらの数字は、モデルが自力で処理できる範囲で非常に高い精度を出していることを示している。

しかし、モデルが高い確信度を示したからといって、すぐにシステムが行動を起こして良いわけではない。顧客からのメッセージには個人情報が含まれることもあり、セキュリティやプライバシーは非常に重要だ。そこで、AIによる判断の前に、まず顧客の本人確認や、システムがその情報を処理する権限があるかをチェックする仕組みが推奨されている。もし本人確認や権限が不足していれば、そこで処理を停止する。その後、AIの確信度スコアを評価し、もしスコアが低ければ、迷わず人間が介入する。AIのスコアは、「処理を進める」という判断を「人間に引き継ぐ」に変えることはできるが、システムが「拒否」と判断したものを「処理を進める」に変えることは決してない。最終的なセキュリティと権限が最優先されるのだ。AIはあくまで、人間の作業を効率化するための「補助」の役割を果たす。

また、このモデルをローカルのノートパソコン上で動かすことには、大きなメリットがある。顧客のメッセージが外部のAIサービスに送信されることがないため、個人情報が第三者に渡るリスクを減らし、データプライバシーの保護に貢献できるのだ。

もちろん、この技術にもまだ改善の余地がある。今回のテストは、実際の通話データではなく公開データに基づいていることや、一部のテストが比較的簡単な条件下で行われたことは理解しておく必要がある。また、モデルの学習初期段階で、損失がしばらく横ばいになってから急降下するという、まだ原因が特定できていない現象も確認されている。

今後の課題として、この「人間への引き継ぎの閾値」をどのように設定すべきか、という運用上の問いも残されている。タスクの種類ごと、データの種類ごと、あるいはシステムが持つ権限レベルごとに設定すべきか、筆者はデータタイプごとの設定が有効だと考えている。

この意思決定モデルは、AIの活用方法に新しい可能性を示している。テキスト生成に頼らず、迅速かつ正確な判断をローカル環境で実現することで、AIは私たちのビジネスや生活の様々な場面で、より実用的で安全なパートナーとなり得るだろう。