【ITニュース解説】Does a Cloned Voice Stay the Same? Scoring Qwen3-TTS With ECAPA

AIを使って人間の声そっくりな合成音声を作り出す「音声クローン」技術は、近年目覚ましい進化を遂げている。この技術は、ある人の短い声のサンプルがあれば、その声でどんな文章でも読み上げさせることが可能になる。しかし、このクローン音声が長い文章を読み上げる際、果たして元の声の個性や特徴を一貫して保ち続けるのだろうか。この疑問に答えるため、最新のAIモデル「Qwen3-TTS 1.7B」を用いて、英語と韓国語のナレーションにおけるクローン音声の一貫性について検証が行われた。

検証の目的は、AIに長い文章を読ませたときに、生成される音声がどれだけ元の声のサンプルと似ているか、そしてその類似度が時間とともにどう変化するかを明らかにすることであった。具体的には、音声クローニング機能を持つQwen3-TTS 1.7Bモデルを使用し、約20分間の英語と韓国語のナレーションをそれぞれ生成した。

検証方法としては、まず、ナレーション全体のスクリプトを「チャンク」と呼ばれる短い文章の塊に分割する。これは、AIモデルが通常、長いスクリプトを一度に処理するのではなく、短い単位で生成し、それらを繋ぎ合わせるためである。次に、各言語チャンネル（英語用、韓国語用）に対して、一度だけ「声のサンプル」となる基準音声を生成した。以降、各チャンクの音声を生成する際には、この最初に生成した声のサンプルを基にしてクローン音声を作成した。

生成された各チャンクの音声が、どれだけ元の声のサンプルに似ているかを数値的に評価するためには、「話者埋め込み（Speaker Embedding）」という技術が用いられた。話者埋め込みとは、音声データから「誰が話しているか」という話者の特徴を数値のベクトル（向きと大きさを持つ量）として抽出する技術である。これにより、「何を話しているか」ではなく「誰が話しているか」という情報に特化した特徴量を得ることができる。今回の検証では、ECAPAという話者認識モデル（具体的にはspeechbrainのspkrec-ecapa-voxceleb）が使用された。

抽出された話者埋め込みベクトル同士を比較するには、「コサイン類似度（Cosine Similarity）」という指標を用いる。コサイン類似度は、二つのベクトルがどれだけ同じ方向を向いているかを示す数値で、1.0であれば完全に一致していることを意味し、数値が高いほど二つの音声が同じ話者である可能性が高いと判断できる。このECAPAモデルとコサイン類似度を用いて、生成された各チャンクの音声と、元の声のサンプルとの類似度がすべて数値化された。

さらに、生成される音声の品質を高めるための工夫も導入された。それは「再生成ループ」である。もしあるチャンクの類似度スコアが0.7を下回った場合、そのチャンクは最大3回まで再生成される。そして、その中で最も高い類似度を示した音声を採用するという仕組みである。これにより、一貫性が低いと判断された音声チャンクに対しては、AIに再度生成を試みさせることで、全体の品質向上を目指した。

検証の結果、興味深い傾向が明らかになった。英語のナレーションでは、全108チャンクにおいて、最も低い類似度スコアが0.808、中央値が0.861、最も高いスコアが0.908となり、0.75を下回るチャンクは一つもなかった。これは、英語のナレーションでは声の一貫性が比較的安定して保たれていたことを示している。

一方で、韓国語のナレーション（全51チャンク）では、最も低い類似度スコアが0.705、中央値が0.806、最も高いスコアが0.897であった。そして、0.75を下回るチャンクが10個も存在した。最も低いスコアの0.705は、再生成の閾値である0.7に非常に近い値であり、英語に比べて韓国語のナレーションでは声の一貫性が失われやすい傾向があることが示唆された。ただし、この結果は、各言語で異なるスクリプトと異なる声のサンプルが使用されたため、言語そのものの特性によるものだと断定はできない点に注意が必要である。

この検証から得られる最も重要な実践的な教訓は、AIによるクローン音声が、長いスクリプト全体で常に一貫した声質を保つとは限らない、ということである。特に長いナレーションを生成する際には、各チャンクの音声を元の声のサンプルと比較し、類似度が低いものがあれば再生成を試み、最も品質の高いものを選ぶといった丁寧なプロセスが不可欠となる。

ただし、話者埋め込みとコサイン類似度によって得られるスコアは、「同じ話者であるか」を数値的に判断する上での目安に過ぎないという限界がある。このスコアは、発音の正確さやイントネーション（声の抑揚）、あるいは全体的な自然さといった、人間の耳でしか判断できない音声品質の側面については何も教えてくれない。例えば、たとえ類似度スコアが高くても、特定の単語が不自然に発音されていたり、イントネーションがおかしかったりする可能性は十分にある。したがって、最終的な品質を確保するためには、生成された音声を実際に人間の耳で聴いて確認することが不可欠である。特に、類似度が低かったチャンクについては、特に注意して聴き直す必要があるだろう。

また、AIモデルのパフォーマンスに関する情報も一部提供されている。Qwen3-TTS 1.7Bモデルは、ある韓国語のテストにおいて、252文字から34.6秒の音声を生成するために97秒を要した。これはリアルタイムの約2.8倍の時間に相当する。また、この生成プロセスでは約4.9GBのVRAM（ビデオメモリ）が使用された。これらの数値は、AIによる音声生成にはそれなりの計算リソースと時間が必要であることを示している。ただし、今回の検証におけるECAPAによるスコアリングや再生成にかかった具体的な時間は計測されていない。

まとめると、AIによる音声クローニング技術は進化しているが、長い文章での一貫性維持には課題が残る。システムエンジニアとしてこのような技術を扱う際には、単に音声を生成するだけでなく、生成された音声の品質を「話者埋め込み」と「コサイン類似度」といった客観的な指標で評価し、必要に応じて再生成を行うといった品質管理のプロセスを組み込むことが重要となる。そして、最終的には数値では捉えきれない発音や自然さといった要素を、人間の耳で丁寧に確認するという地道な作業が、高品質な音声コンテンツを作り出すためには欠かせない。これらの知見は、AIを用いた音声コンテンツ制作プロジェクトを進める上で非常に役立つだろう。