【ITニュース解説】Gemini 3.8 Live: Designing Voice Agents That Think Without Breaking the Conversation

Googleは、AIを搭載した音声エージェントの体験を大きく変える新しいモデル「Gemini 3.8 Live」と「Gemini 3.8 Live Extended Thinking」を発表した。これは単なるAIモデルのバージョンアップではなく、私たちが音声AIとどのように対話するかの根本的な変化を示している。これまでの音声AIは、私たちが話した音声を一度テキストに変換し、そのテキストをAIが処理し、その結果をまた音声に変換して私たちに届けるという段階的な仕組みが一般的だった。しかし、新しいGemini Liveモデルでは、AIが裏側で別の作業を進めている間も、ユーザーとの会話を途切れることなく続けられる「ネイティブな音声対音声システム」への移行を目指している。

この新しいモデル群は、AIがリアルタイムで複数の言語を扱ったり、視覚的な情報（カメラで写した画像など）を理解したり、数字や文字の組み合わせを正確に聞き取ったりといった、多くの高度な機能を可能にする。特に中東や北アフリカ地域のように、アラビア語を中心に複数の言語を日常的に使用する環境で、より自然で柔軟な音声エージェントの開発を後押しすることが期待されている。この技術は、GmailやGoogleドキュメント、Google検索といった身近なサービスにも順次導入される予定だ。

Googleは、目的に応じて使い分けられる二種類のAIモデルを提供している。一つは「Gemini 3.8 Live」で、これは流れるような会話、費用の効率性、そして視覚的な情報理解に特化している。ユーザーとのやり取りが即座に完結するようなシンプルなタスクに適しており、大規模なシステムでの利用を想定して設計されている。もう一つは「Gemini 3.8 Live Extended Thinking」で、こちらはAIが複数の複雑な手順を踏んで物事を考えたり、裏で時間のかかるツールを動かしたりするような場合に力を発揮する。このモデルは、処理の進行状況を声に出して説明する機能も持っているため、ユーザーはAIが黙って考えているように感じず、作業が進んでいることを理解できる。例えば、複雑な予約手続きや払い戻し処理など、AIがじっくり考える必要がある場面で活用される。開発者は、このExtended Thinkingモデルに対して、AIの思考レベルを「低」「中」「高」の三段階で設定することも可能だ。

システムを設計する際には、これら二つのモデルの特性を理解し、適切に使い分けることが非常に重要になる。ユーザーはAIがどのモデルを使っているかを知る必要はないが、AIの応答が遅れたり、途中で黙り込んだりすると、ユーザーは「AIが固まった」「ちゃんと動いていない」と感じてしまう。そのため、AIが瞬時に応答すべき場面ではLiveモデルを使い、時間がかかる複雑な処理を行う場面ではExtended Thinkingモデルを使って、AIが「今、考えたり作業したりしています」と声で伝えて、ユーザーに待つことを促すような設計が求められる。

AIモデルの利用には費用がかかる。Googleが提示しているLive APIの音声処理料金は、入力音声1分あたり0.005ドル、出力音声1分あたり0.018ドルだ。これは競争力のある価格設定であり、音声AIを様々なサービスに導入するための障壁を低くする。しかし、分単位の料金は積み重なると大きな費用になる可能性がある。特にExtended Thinkingモデルが長々と進行状況を説明し続けるような場合、テキストベースのチャットセッションよりも高額になることもありえる。そのため、開発者は費用効率も考慮した設計が必要だ。例えば、AIの応答はできるだけ簡潔にし、簡単な問い合わせはLiveモデルで処理し、高価値なサービス（払い戻しや複雑な予約など）にのみExtended Thinkingモデルを利用するといった工夫が考えられる。また、単にAIとの会話時間ではなく、AIがタスクを成功させるまでにかかった費用を計測することで、費用対効果をより正確に評価し、機能の改善につなげることが重要となる。

今回の発表で最も画期的なのは、AIが裏で別のプログラム（ツール）を動かしている間も、会話を途切れることなく継続できる機能だ。これを「非同期関数呼び出し」と呼ぶ。Extended Thinkingモデルは、この機能を使って「ただいま確認中です…」といった初期の応答や、処理の進行状況をリアルタイムで音声で伝えることで、AIが沈黙する時間をなくし、ユーザーに「AIがちゃんと動いている」と感じさせる。これは、従来の電話自動応答システム（IVR）のように、AIが処理中に沈黙することが「作業中」の唯一のサインだった時代とは大きく異なる。これからは、AIがどのように話すか、どんなタイミングで進行状況を伝えるかといった「進行状況の音声」自体が、ユーザーインターフェースの一部となるため、その内容やタイミングを慎重に設計する必要がある。

また、AIとユーザーの会話の「ターン」が終わったことを示すturnCompleteという情報だけでは不十分になる。GoogleのAPIガイドラインでは、開発者はinteractionStatus（IN_PROGRESS: 処理中 / IDLE: 待機中）という状態を追跡するよう指示している。AIがまだ考えたり処理を進めたりしている最中でも、部分的な応答としてturnComplete: trueという情報が送られてくる場合があるため、ユーザーインターフェースが早まって「AIが聞き取り状態になった」と表示してしまうと、AIが思考途中で遮られてしまう可能性がある。AIが使用するツール（情報を検索するプログラムなど）は、会話を「ブロックしない（NON_BLOCKING）」ように設定することが、この新しいアーキテクチャでは不可欠となる。これらの細かな設計の積み重ねが、ユーザーにとってAIが協力的でスムーズな対話相手だと感じるか、それとも途中で壊れたように感じるかの大きな違いを生む。

Gemini 3.8 Liveモデルは、ほぼリアルタイムで視覚情報を処理する能力も持つ。これは、ユーザーがスマートフォンで撮影したレシートの内容をAIに説明させたり、現場作業員がカメラで映した機器の状態についてAIにアドバイスを求めたりするような状況で非常に役立つ。さらに、確認コードや請求書番号といった英数字の組み合わせを正確に解析する能力も向上しており、企業の顧客サポートや業務プロセスでの活用を明確に意識している。地域によっては、文字の読み書きが困難な状況や騒がしい環境で音声だけでは情報が伝わりにくい場合があるが、カメラからの映像情報と短い音声確認（「請求書番号は…でよろしいですか？」など）を組み合わせることで、より堅牢で使いやすいシステムを構築できるようになる。

97以上の言語に対応し、会話中に言語を切り替えられるというGoogleの主張は非常に強力だが、特にアラビア語圏のように、日常的にアラビア語と英語、さらに地域の方言が混じり合う環境では、自動検出だけに頼るのではなく、さらに一歩踏み込んだ工夫が求められる。例えば、ブランド名、都市名、支払い条件など、その地域のユーザーが実際に使用するアラビア語の語彙や、特定の地域の方言に合わせた学習データを追加することが有効だ。また、金額や口座番号といった重要な情報は、数字を一つずつ読み上げてユーザーに確認させるような設計にすることで、誤認識を防ぐことができる。一つの言語での認識精度だけでなく、複数の言語が混じった会話での認識失敗率を個別に測定し、改善に努めることも大切になる。

今回のGemini Liveモデルは強力なAIモデル自体を提供するが、それがシステム全体のすべてではないという点も重要だ。Googleは、AIモデルへのアクセスをAI Studioや、LiveKit、Pipecatといったパートナーを通じて提供するとしている。つまり、システムエンジニアは、音声や動画をリアルタイムでやり取りするための技術（WebRTCなど）、ユーザーがAIの会話を途中で遮って話す際のルール（バーージインポリシー）、インターネット接続が不安定になった場合の対応、マイクやカメラの利用許可を得るためのユーザーインターフェースなど、AIモデル以外の様々な技術的な課題に引き続き取り組む必要がある。AIモデルはあくまでシステムの中核となる「脳」であり、その脳と外界を繋ぎ、円滑に動作させるための「身体」や「神経」を構築するのは、システムエンジニアの役割である。

これらの新しい技術を理解し、実際に活用するためには、具体的にどのような試みが考えられるだろうか。例えば、顧客情報管理システム（CRM）で情報を検索している間も、ユーザーと会話を続けるバイリンガルのサポートAIを試作してみるのが良いだろう。また、スマートフォンのカメラで画面を映し、その画面の内容をAIが説明してくれるような、モバイルアプリの導入支援ヘルパーも有効な応用例だ。そして、どのAIモデルを使って、どのタスクを完了したかによってかかった費用を可視化するコスト管理ダッシュボードを構築することも、効率的なシステム運用には不可欠だ。さらに、AIのinteractionStatus情報に基づいて、UIに「AIが考え中」「AIが作業中」といった明確な状態を表示させることで、ユーザー体験を向上させることができる。

Gemini 3.8 Liveモデルは、音声AIがただコマンドを聞き取って実行するだけでなく、ユーザーと継続的に会話し、裏で様々なツールを使いこなしながら、一つのスムーズな体験としてサービスを提供する、という新しい標準を作り出す。これからのシステム開発者は、音声、AIが使うツール、そしてその処理状況の表示を、あたかもオーケストラの指揮者のように調和させ、ユーザーにとって最高の体験を生み出すことを求められる。どのAIモデルをどの場面で使うかを、まるでコンテンツ配信ネットワークの拠点を選ぶように、一つ一つのフローに合わせて意図的に、そして費用対効果やユーザー体験の指標に基づいて選択していくことが、これからの音声AI開発で成功するための鍵となるだろう。