【ITニュース解説】Engineering Real-Time Video Pronunciation Search: Subtitle Synchronization, Syllable Stress Parsing & Phonetic Alignment

従来のオンライン辞書は、単語の発音を単体で提供していた。たとえば、単語を検索すると、国際音声記号（IPA）による発音記号が表示され、ボタンを押せば無音のスタジオで録音された短い音声が再生される。これは基本的な単語の学習には役立つものの、実際の会話における英語の発音とは大きく異なる問題があった。実際の会話では、単語が連続して発音され、ストレス（強勢）の有無によって母音が省略されたり、子音が変化したり、単語同士が連結されたりするからだ。このような自然な会話の流れの中での発音を、従来の辞書では十分に学ぶことができなかった。

この課題を解決するために開発されたのが「SayItVid」というサービスだ。SayItVidは、数千もの実際の会話動画をインデックス化し、ユーザーが単語の発音を検索すると、リアルタイムで動画が再生され、同期された字幕、IPA表記、音節の強勢を視覚的に示す情報、そして単語の語源までをわずか50ミリ秒未満で提供する。これにより、学習者は単語が実際の会話でどのように発音されるかを、文脈とともに正確に理解できるようになる。

SayItVidの裏側にある技術的な仕組みは、大きく分けて四つの主要なシステムから成り立っている。まず、YouTubeの講義やトーク、インタビューといった「動画コーパス」から動画データを取り込む。次に、動画に付随する「字幕（WebVTT形式など）」を取り込み、それぞれの単語の開始時刻と終了時刻を正確に抽出する「時間同期」処理を行う。これと並行して、英単語を国際音声記号（IPA）に変換し、どの音節に強勢があるかを解析する「音声とIPAの解析」処理も行う。これらの処理で得られた単語の時間情報や発音情報、テキストデータは、高速な検索を可能にするために「検索エンジンインデックス」に格納される。このインデックスにはSQLiteのFTS5という全文検索機能が使われ、BM25というランキングアルゴリズムで関連性の高い結果が上位に表示されるようになっている。最後に、ユーザーがウェブブラウザからSayItVidを利用する際に、検索結果に基づいて動画を再生し、字幕や発音情報を同期して表示する「クライアント実行環境」が動作する。これにより、ユーザーは検索した単語が動画のどこで、どのように発音されているかを直感的に理解できるのだ。

特に重要なのは、単語の正確な時間情報と、会話の自然な流れを考慮した再生の仕組みだ。動画クリップを検索する際によくある問題として、「フラグメンテーション問題」がある。これは、検索された単語の開始時刻にいきなり動画をジャンプさせると、ユーザーは唐突に音が聞こえ、文全体のリズムや話者のイントネーションを認識できない、というものだ。SayItVidではこの問題を解決するため、単語の周りに「音響的な文脈ウィンドウ」を設定している。具体的には、検索された単語が属する文の開始前から動画を再生し、単語が発音された後も少しの間再生を続けることで、ユーザーが自然な会話の流れの中で単語の発音を聞き取れるように工夫している。これにより、例えば「literally（文字通り）」のような発音の難しい単語を検索した場合でも、単語が発話される直前から動画が始まり、脳が話者のリズムに慣れてから目的の単語を聞けるようになっている。

発音の理解には、単に音を聞くだけでなく、どこに音響エネルギーが集中しているかを視覚的に捉えることも不可欠だ。英語では、主要な強勢のある音節は、母音が長く、ピッチが高く、より強く発音される傾向がある。一方、強勢のない音節では、母音が曖昧な「シュワ（/ə/）」のような音に弱化することが多い。SayItVidの音声解析エンジンは、辞書のエントリーからIPA情報を取り込み、強勢記号や音節区切りに基づいて音節を分割し、主要な強勢がどの音節にあるかを特定する。そして、この強勢情報はクライアント側のUIで、強調された色やコントラストで表示される。これにより、学習者は単語の「音響的な重心」を一目で理解できる。

従来の音声合成技術では再現が難しい、実際の会話における発音のニュアンスもSayItVidは捉えている。たとえば、「Literally」という単語では、北米英語の自然な会話で「t」の音が「ɾ」に変わり、真ん中の母音が省略されて3音節になる現象（Intervocalic Flapping）が見られる。また、「Thoroughly」のような単語では、特定の摩擦音から母音への滑らかな移行（Consonant Transitions）が重要であり、合成音声では不自然な途切れが生じがちだ。さらに、「Vulnerable」のような単語では、最初の音節に主要な強勢があるために、残りの音節が弱化する様子が明確に観察できる（Syllable Weight & Reduction）。「Mum's the Word（口外無用）」のような慣用句に至っては、共謀的な間合いやユーモラスな抑揚といった、音声だけの辞書では伝わらないリズムや感情的なニュアンスがある。SayItVidは、これらすべてを実際の動画を通して学習者に示すことができる。

システム全体の応答性を保つため、SayItVidは検索パフォーマンスにも力を入れている。データベースと検索クエリは、SQLiteの全文検索機能であるFTS5を使って最適化されており、軽量な転置インデックス（単語とそれが出現する場所の対応表）により、数ミリ秒単位での高速な検索を実現している。また、ウェブサイトのフロントエンドは、複雑なフレームワークに依存せず、シンプルなJavaScriptで構築されているため、アプリケーションの起動や操作が高速で、特にモバイルデバイスや低帯域幅のネットワーク環境でもスムーズなユーザー体験を提供する。さらに、ユーザーが動画例を切り替える際には、次の動画セグメントや字幕データが非同期に事前に読み込まれる（エッジプリフェッチング）ため、待ち時間を感じさせない設計となっている。

このように、SayItVidは単語の発音を単なる音の単位としてではなく、動画という視覚情報と、厳密な音声学的なデータ、そして音節の強勢解析を組み合わせることで、人間が実際にどのように言語を発話しているかという真実を学習者に提示する。言語は、本来、視覚や聴覚、文脈など、多様な要素が組み合わさった多モーダルな現象であり、SayItVidはまさにこの本質を捉え、言語学習に新たな価値を提供している。