【ITニュース解説】Build a voice agent with Whisper, Kokoro, and an OpenAI-compatible API

システムエンジニアを目指す皆さんは、普段からスマートフォンやスマートスピーカーで音声アシスタントを使っているかもしれない。今日の解説は、その音声アシスタントのような「ボイスエージェント」を自分で作る技術についてである。ボイスエージェントとは、私たちが話した声を理解し、考えて、音声で返答してくれるシステムのことだ。例えば、「今日の天気は？」と話しかければ、エージェントがその質問を理解し、調べて、音声で天気予報を教えてくれる。このような対話型のシステムを構築する際に、どのような技術が使われ、どうすれば開発できるのかを解説する。

ボイスエージェントがどのように動くのか、その仕組みは大きく三つの段階に分けられる。第一の段階は「音声認識（Speech to text）」である。これは、ユーザーがマイクに向かって話した音声を、コンピューターが理解できるテキスト（文字）に変換する処理だ。例えば、「こんにちは」という音声を「こんにちは」というテキストに変換する。この音声認識には「Whisper Large V3 Turbo」のような高性能なモデルが使われる。このモデルは、私たちが話す様々な言葉やアクセント、さらには背景のノイズがあっても、正確にテキストに変換する能力を持っている。

第二の段階は「思考と返答生成（LLM）」である。音声認識によってテキストになったユーザーの質問や発言を、大規模言語モデル（LLM: Large Language Model）が受け取り、それに対する適切な返答を生成する。LLMは、膨大な量のテキストデータを学習しており、人間のように自然な文章を生成したり、質問に答えたり、要約したりする能力を持つ。例えば、「今日の天気は？」というテキストを受け取ったら、LLMは天気予報を検索し、その情報を元に「今日の天気は晴れで、最高気温は25度です」のような返答テキストを生成する。この段階では「Llama 3.1 8B Instruct」のようなモデルが利用されることが多い。対話の応答速度を考えると、処理が速い比較的小型または中型のLLMを選ぶのが一般的である。

第三の段階は「音声合成（Text to speech）」である。LLMが生成した返答テキストを、再び人間に聞こえる音声に変換する処理だ。例えば、「今日の天気は晴れで、最高気温は25度です」というテキストを、自然な発音とイントネーションを持った音声に変換して再生する。この音声合成には「Kokoro 82M」のようなモデルが使われる。このモデルは、生成されたテキストをまるで人間が話しているかのような高品質な音声に変換する。

これらの三つの段階、つまり「音声認識」「思考と返答生成」「音声合成」を順番に実行することで、ボイスエージェントはユーザーとの対話を実現する。ユーザーが話す→音声認識→テキスト化→LLMによる思考・返答生成→テキスト化→音声合成→エージェントが話す、という一連の流れが繰り返し行われることで、連続した会話が可能となる。

通常、このようなシステムを構築しようとすると、音声認識、LLM、音声合成それぞれを異なるサービス提供者から調達し、それらを連携させる必要があるかもしれない。しかし、今回紹介された「EcoHash」というサービスを利用すると、これら三つの機能を「OpenAI互換API」と「一つのAPIキー」でまとめて利用できる点が大きな特徴だ。OpenAI互換APIとは、OpenAIという企業が提供するAPIと同じ形式で利用できるAPIのことだ。これにより、開発者は複数のベンダーと契約したり、それぞれのAPIの使い方を覚えたり、別々の請求管理をしたりする手間を省き、効率的に開発を進められる。

さらに、これらの高度なモデルを動かすためには、通常、高性能なGPU（グラフィック処理装置）という特別なコンピューター部品が必要になることが多い。しかし、EcoHashのサービスを使う場合、開発者自身がGPUを用意する必要はない。WhisperやKokoro、そしてLLMなどのモデルは、EcoHashのサーバー上で提供されており、開発者はAPIを通じてそれらの機能を利用できるためだ。これにより、初期投資なしで、手軽にボイスエージェントの開発を始められるメリットがある。高性能なGPUワークスペースは、将来的に大量の処理を高速で実行したい場合など、より高度な用途で検討すればよく、最初の段階では不要である。

実際に開発する際には、Pythonのようなプログラミング言語と、OpenAI互換のAPIクライアントライブラリを使うことになる。コードは非常にシンプルで、まず音声ファイルを読み込み、それをEcoHashの音声認識APIに送るとテキストが返ってくる。次に、そのテキストをLLMのAPIに送ると返答のテキストが生成される。最後に、その返答テキストを音声合成APIに送ると、音声ファイルが返ってくる、という流れをプログラムで記述する。この一連の処理をループさせることで、連続した対話が可能になる。

ボイスエージェントの開発は非常に魅力的だが、いくつかの考慮点もある。例えば、人間同士の会話のように「リアルタイム」での応答を実現するには、ネットワークの速度や選ぶモデルの性能、さらにはシステム全体の設計が重要になる。今回紹介された方法では、基本的な「リクエスト-レスポンス」形式で動作するが、より自然な会話体験を提供するためには、会話の途中でユーザーが発言を割り込む「barge-in」や、音声をリアルタイムで少しずつ処理していく「ストリーミング」といった高度な機能も必要になることがある。これらはアプリケーション側で追加実装する部分となる。また、利用料金はLLMが「トークン」（単語や文字の単位）ごとに、音声認識や音声合成が「処理量」に応じて発生するため、開発するシステムの種類や規模によって費用を計画する必要がある。

しかし、システムエンジニアを目指す初心者にとっても、EcoHashのようなサービスはボイスエージェント開発への敷居を大きく下げてくれる。高性能なAIモデルの機能を、手軽に一つのAPIとAPIキーで利用でき、複雑なインフラの準備も不要なため、アイデアをすぐに形にできる環境が整っている。まずは基本的な音声アシスタントのプロトタイプを作ってみることから始めて、AIと音声技術の融合がもたらす可能性を体験してみることをおすすめする。