【ITニュース解説】56 messages, 4 voice notes, 48 seconds: the briefing that reads my family's WhatsApp while I sleep

家族の連絡手段として広く使われるWhatsAppグループでは、日々多くのメッセージやボイスメモが交わされる。しかし、送られてくる情報量が膨大になると、それらを全て確認し、重要な内容を把握するのが難しくなるという課題がある。特に、ベンガル語、ヒンディー語、英語などが混在する多言語環境では、その困難さはさらに増す。毎朝、前夜に届いた大量の情報を手作業で確認し、旅行の計画や家族の健康状態といった重要な更新情報を把握する作業は、多くの人にとって時間と労力を要する負担となる。

この課題を深く掘り下げると、音声認識（STT）技術の精度が、情報の正確性に直結する重要な問題として浮上する。ある開発者が、自身の家族のボイスメモを処理した際に、あるSTTモデルが「心臓の問題」という緊急性の高い健康情報を「市場のサモサ」と誤って認識するという事態に直面した。これは単なる言葉の誤りでは済まされず、家族の健康に関わる重要な情報が誤って解釈されることで、混乱や対応の遅れを引き起こす可能性があることを示している。このような経験から、正確かつ効率的に家族の情報を把握できるツールの必要性が強く認識された。

この課題を解決するために開発されたのが、「Amar Khobor（私のニュース）」というツールである。このツールは、WhatsAppグループからエクスポートされたデータを取り込み、その中から重要な情報を抽出し、短時間の音声ブリーフィングと、内容を構造化したテキスト形式の「ショーノート」として提供する。利用者は、わずか数十秒の音声を聞くだけで、前夜に起こった出来事をまとめて把握でき、さらにテキストで詳細を確認できるため、手作業で全てのメッセージやボイスメモを確認する手間を大幅に削減できる。

Amar Khoborが提供する音声ブリーフィングは、まるで家族の誰かが直接話しかけてくるかのような、温かく会話調の自然な声で生成される。これには高度な音声合成技術が活用されている。ブリーフィングは要点を簡潔に伝えるため、タイムスタンプや引用元を読み上げるような無機質なものではなく、自然なコミュニケーションに近い形式で情報を提供する。同時に生成される「ショーノート」は、ブリーフィングの内容を補完する役割を果たす。これは構造化されたカード形式で表示され、各情報の出どころ（誰が言ったか）、関連するトピック、そしてその情報が緊急を要するかどうかといった詳細が明記される。例えば、「父親が祖父の胃腸の問題（心臓ではない）について話し、これは健康に関わる緊急の話題である」といった形で、情報の出所と内容、重要度が明確に示されるため、ブリーフィングで得た情報の信頼性をすぐに確認できる。

Amar Khoborを支える主要技術は以下の通りである。

1. 音声認識（STT）: このツールの基盤となるのは、音声をテキストに変換するSTT技術である。特にベンガル語やヒンディー語、そしてそれらが混じった「コードミキシング」と呼ばれる多言語混合のスピーチに対応するため、SarvamのSaarasモデルが採用された。このモデルは、インド系の言語に特化して開発されており、上記の「心臓の問題」と「市場のサモサ」の誤認識を起こしたWhisperモデルと比較して、家族のボイスメモにおいて格段に高い精度を示した。Whisperはオープンソースのモデルとしてベンチマークの基準とされたが、実際の運用ではSaarasの精度が不可欠であった。音声認識の速度も重要な要素であり、SaarasはWhisperよりも高速に処理を完了する。
2. 大規模言語モデル（LLM）: 抽出されたテキスト情報から要点をまとめ、音声ブリーフィングのスクリプトとショーノートの両方を生成するために、Gemma 4という大規模言語モデルが使用されている。Gemma 4は「オープンウェイトモデル」であるため、開発者がそのモデルの内部動作を検査し、自由に利用・改変・自己ホストできるという利点がある。これにより、特定のプロバイダに依存せず、将来的な柔軟性やプライバシー保護の観点からもメリットが大きい。LLMの応答が時々、意図しない追加情報を含んだり、JSON形式が崩れたりする問題が発生したが、このツールでは、必要なJSONデータのみを正確に抽出する堅牢な処理ロジックを実装することで、この問題を解決している。
3. 音声合成（TTS）: 生成されたスクリプトを自然な音声に変換するため、ElevenLabsの技術が利用されている。これにより、温かく、まるで家族が話しているかのような声でブリーフィングが届けられる。開発段階では、ローカル環境で手軽に利用できるEdge-TTSも活用された。

このツールは、いくつかの工夫されたシステムアーキテクチャを採用し、プライバシーへの強い配慮も行っている。まず、音声認識処理を行う前に、音声データから無音部分や背景ノイズを検出して除去する「エネルギーベースVAD（Voice Activity Detection）」というフィルター処理を施す。これにより、実際に意味のある音声部分のみがSTTモデルに送られるため、処理コストの削減と効率化が図られる。また、音声スクリプトとショーノートは、単一のLLMコールで同時に生成される。これにより、両者の内容に一貫性が保たれ、情報の齟齬を防ぐことができる。 処理に時間がかかる場合があるため、ユーザーに即座に「受け付けました」という応答を返し、バックグラウンドで処理を進める「202 Acceptedとポーリング」という非同期処理の仕組みが導入された。ユーザーは定期的に処理状況を問い合わせることで、完了を待つことができる。 そして、家族のプライベートな情報を扱うため、このツールはデフォルトで「エフェメラルメモリ（一時的メモリ）」をストレージとして利用する。これは、音声データや生成されたブリーフィングがサーバーのセッション中にのみメモリ上に存在し、サーバーの再起動やセッション終了と共に自動的に消滅することを意味する。これにより、データが永続的に保存されるリスクを最小限に抑え、高いプライバシー保護を実現している。

このツールは、開発者自身の家族の実際のWhatsAppグループデータを使って開発・検証された。これにより、現実世界の複雑な状況におけるツールの有効性が確認された。プライベートな家族のコミュニケーションを扱う性質上、Gemma 4のようなオープンウェイトモデルの採用は重要な選択であった。オープンウェイトモデルは、その動作を検査し、自己ホストする選択肢があるため、特定の企業に依存することなく、データの取り扱いに関する透明性と制御を確保できる。STTのSaarasはクローズドモデルだが、その精度が圧倒的だったため採用され、プロバイダの切り替えが容易な設計により、将来的な柔軟性も確保されている。

「Amar Khobor」は、日々のデジタルコミュニケーションにおける情報過多という課題に対し、先進的なAI技術と慎重なシステム設計によって解決策を提供するツールである。特に、音声認識の精度、多言語対応、要約の自動化、そして何よりもプライバシー保護への強い配慮が特徴である。システムエンジニアを目指す初心者にとっても、実際のユーザーの問題解決にどのようにAI技術が応用され、どのような技術的選択や工夫が行われているかを学ぶ良い事例となるだろう。このプロジェクトは、単に技術を組み合わせるだけでなく、具体的なユーザーのニーズに応え、信頼性と実用性を両立させるためのエンジニアリングの思考プロセスを示している。