【ITニュース解説】How to Build an AI Call Agent with Python: STT, Groq LLM and TTS

この解説文では、Pythonを使ってAI電話エージェントを構築する具体的な方法について詳しく説明する。AI電話エージェントとは、人間のように電話で会話できる自動応答システムを指し、このシステムは主に「聞く」「考える」「話す」「通話状態を判断する」という四つの重要な要素を組み合わせて作られる。具体的には、音声認識技術（Speech-to-Text、STT）で相手の声をテキストに変換し、大規模言語モデル（Large Language Model、LLM）でテキストの応答内容を生成し、音声合成技術（Text-to-Speech、TTS）でそのテキストを音声に変換して相手に話しかけ、さらに電話の接続状態を常に監視しながらこれらのプロセスを繰り返すことで、自然な会話を実現している。

「Google Voice Dispatch Agent」という、運送会社の配車業務でアウトリーチ（顧客への働きかけ）を行うために開発されたAI電話エージェントを例に、その仕組みを見ていこう。このエージェントは、Google Voiceの電話回線をウェブブラウザ（Chrome）上でSeleniumという自動化ツールを使って制御し、音声のやり取りを行う。相手の音声を聞く部分では、マイクで音声をキャプチャし、そこに音声活動検出（Voice Activity Detection、VAD）という技術を適用して、人間が話している区間だけを効率的に特定する。そして、特定された音声の塊をGroqが提供する高性能な音声認識モデル（Whisperなど）に通すことで、テキストに変換する。このテキスト情報を元に、応答を考える部分では、Groqが提供する高速なLLM（Llama-3.1-8b-instantなど）を利用し、事前に設定された役割（例：「丁寧な配車アシスタント」）に基づいて、短く簡潔な返答文を生成する。生成されたテキストは、Edge TTSという音声合成サービスを使って自然な人間の声に変換され、VB-CABLEという仮想オーディオデバイスを経由して、あたかも人間が話しているかのように電話回線に流し込まれる。これらの動作全体は、FastAPIというウェブフレームワークを使った管理コンソールで制御され、全ての通話ログ、会話のトランスクリプト（文字起こし）、録音、そして顧客管理システム（CRM）への情報更新が行われることで、後から人間のオペレーターが確認したり、エージェントの性能を改善したりできるようになっている。

AI電話エージェントの動作は、事前に設定された連絡先リストと設定ファイルを読み込むことから始まる。次に、電話をかける前に行う「事前チェック」を済ませ、最初の一言や留守番電話用のメッセージ音声を事前に準備しておく。準備が整ったら、電話をかけ、相手が電話に出て接続が確認されるまで待機する。接続が確認されると、前述の「聞く、考える、話す」という会話ループが開始され、会話が終了するか、留守番電話になったり、接続が切れたりすると、通話ログや録音などを保存し、一定の待機時間（クールダウン）を挟んで次の連絡先に電話をかける、という流れになる。

特に重要なのが「ステップ1：通話状態の検出」である。電話が鳴っている最中にエージェントが話し始めると、不自然なだけでなく、相手に不快感を与えてしまう可能性がある。このエージェントは、ChromeブラウザのDOM要素（ウェブページの構造情報）を読み取ることで電話の状態を判断し、電話が鳴り始めてから一定の時間が経過し、かつ「接続済み」「留守番電話」「通話終了」のいずれかの状態が確認されるまで、話しかけるのを待つという慎重なアプローチを取っている。もし長時間接続状態にならない場合は、応答なしと判断する。

次に「ステップ2：聞く（音声認識）」だが、ここではVADが非常に重要な役割を果たす。マイクでキャプチャされた音声を細かいフレームに区切り、その中で人間の声が含まれている部分だけを検出する。これにより、相手が話し終えたことを正確に把握し、その音声の塊だけを音声認識サービスに送ることで、無駄な処理を減らし、応答速度を向上させている。Groqが提供するWhisperモデルは、この音声認識において低遅延で高い精度を発揮するため、会話の途切れが少なく、より自然なやり取りが可能になる。

「ステップ3：考える（応答生成）」では、GroqのLLMが活用される。LLMは、STTによってテキスト化された相手の発言と、これまでの会話履歴を元に、次に何を話すべきかを判断し、返答のテキストを生成する。この際、「システムプロンプト」と呼ばれる、エージェントの役割や返答のスタイル（例：「丁寧で、1〜2文の短い返答をする」）を定義する指示が非常に重要になる。これにより、エージェントは常にその役割に沿った、自然で適切な会話を維持することができる。

そして「ステップ4：話す（音声合成）」では、Edge TTSが生成されたテキストを自然な音声に変換する。特に、最初の一言や留守番電話のメッセージなど、固定のフレーズは事前に音声ファイルとして生成しておくことで、再生時に発生する遅延をなくし、通話開始と同時にスムーズに発話できるようにしている。生成された音声は、VB-CABLEのような仮想オーディオデバイスを介して、ウェブブラウザのマイク入力にルーティングされ、電話回線へと送り出される。

最後に「ステップ5：留守番電話対応と記録」についてだが、このエージェントは電話が接続された後に、ウェブページのDOM情報と、通話初期の音声データを分析するオーディオ分類器を組み合わせて、留守番電話の挨拶や「ピー」という録音開始の信号を検出する。留守番電話が確認された場合は、事前に生成しておいた留守番電話用のメッセージを再生し、会話を開始しない。全ての通話が終了すると、通話の日時、相手との会話の文字起こし、通話全体の録音ファイル、そしてCRMへの顧客情報更新など、詳細な記録が保存される。これらの記録は、後から人間がエージェントの活動を監査したり、会話内容を分析してエージェントの性能向上に役立てたりするために不可欠である。

AIによる音声通話は、国や地域によって様々な規制の対象となる場合があるため、コンプライアンス（法令遵守）も非常に重要だ。例えば、発信者がAIであることを開示する義務や、電話を受けたくないという意思表示（オプトアウト）を尊重する義務、そして利用している電話サービスの規約に従う必要がある。AI電話エージェントを開発・運用する際は、これらの法的側面にも十分注意し、必要に応じて専門家の助言を得ることが求められる。