【ITニュース解説】Marigold Archive: ask your family's recordings questions, offline

Marigold Archiveという名前のアプリケーションは、家族の録音された音声データから、ユーザーが質問をして答えを得られるようにするツールである。このアプリの大きな特徴は、すべての処理がユーザー自身のコンピュータ上で行われ、インターネット接続が不要である点にある。つまり、家族の個人的な記録を外部のサーバーにアップロードすることなく、安全に利用できる。

このアプリの根底にある考え方は、メキシコの伝統行事である「死者の日（Día de los Muertos）」から着想を得ている。この日、家族は亡くなった大切な人を思い出し、その人の物語を語り継ぐ。Marigold Archiveは、亡くなった人々の声や、家族が共有する記憶を「機械の中の幽霊」のように生き続けさせ、忘れ去られることを防ぐことを目指している。アプリのデザインには、この伝統にちなんでキャンドルやマリーゴールドの色が使われ、保存された物語の数や音声の合計時間を表示する「Altar Holdings」パネルといった要素も取り入れられている。

Marigold Archiveの使い方は非常にシンプルだ。まず、MP3、WAV、M4A、OGG、FLACなどの音声ファイルをアプリにドラッグ＆ドロップしてアップロードする。アップロード時には、その録音にタイトルを付け、話者を指定する。すると、アプリはインターネットに接続することなく、ユーザーのCPUを使ってその音声を文字に起こす。この文字起こし処理はすべてローカルで完結する。文字起こしが完了すると、ユーザーは「祖母はディワリの朝について何と言っていた？」といった質問をテキストで入力できる。アプリは録音された音声の文字起こしデータの中から関連する部分を探し出し、質問に対する回答を生成する。生成された回答には、その情報が含まれる元の「ストーリー（録音）」のタイトル、音声中の正確なタイムスタンプ、そして実際に話された正確な言葉が引用されて表示される。さらに、その引用箇所からすぐに音声再生を開始できるプレイヤーも提供されるため、ユーザーはすぐに元の音声で確認できる。もし質問に対する答えが録音データ中に見つからなかった場合、アプリは「録音の中には見つかりませんでした」という固定のメッセージを返すだけで、決して存在しない記憶をでっち上げたりはしない。

このアプリの設計において特に重要視されているのが、AIが架空の情報を生成するのを防ぐことである。一般的な小さなAIモデルは、情報が不足していると、もっともらしいが実際には存在しない詳細を補完してしまう傾向がある。しかし、家族の記憶を扱うアーカイブでは、作り話の記憶が本当の記憶と区別がつかなくなることは最も避けるべき失敗だ。そこでMarigold Archiveでは、AIモデル（Gemma）には、関連性が高いと判断された文字起こしデータのごく一部しか提示しないように厳しく設計されている。Gemmaは、与えられた情報だけを使って回答を作成しなければならず、それ以外の情報を推測したり補完したりすることは許されない。また、すべての回答には、元のストーリー、タイムスタンプ、正確な引用文が必ず含まれるため、ユーザーはいつでも元の音声と照らし合わせて情報の正確性を確認できる。これにより、AIが勝手に記憶を「発明」する危険性が排除されている。

音声認識技術も完璧ではないため、特に固有名詞、地域特有の言葉、アクセントなどがある場合、文字起こしに間違いが生じることがある。この問題に対応するため、Marigold Archiveには「Review / Edit（確認・編集）」ページが用意されている。ユーザーは、文字起こしされた任意のストーリーを開き、必要に応じてテキストを手動で修正できる。修正後、保存すると、アプリは修正されたテキストに基づいて再度インデックスを作成し、それ以降の質問応答には修正後の正確なテキストが使われるようになる。すべてのストーリーを一度に再インデックスするための「Sync & Re-Index All（すべて同期・再インデックス）」ボタンも提供されている。現在のところ、音声認識機能（faster-whisper）は話者を区別できないため、複数の人が話している録音に対して「祖父が何と言ったか」のような具体的な質問をするのは難しい。しかし、将来的には話者分離機能の追加が次のステップとして考えられている。

このアプリは、オープンソースの技術を組み合わせて構築されている。主な技術要素としては、高速な音声認識を行う「faster-whisper」、質問応答モデルとして「Gemma」（これはOllamaというツールを通じてローカルで実行される）、文字起こしデータを効率的に検索するためのデータベースである「ChromaDB」、テキストの類似度を計算する「sentence-transformers」、そしてユーザーインターフェースを構築する「Streamlit」が使われている。これらの技術はすべてローカルで動作し、外部のAPIキーやクラウドサービスへの接続は一切不要である。これにより、アプリの運用コストは実質ゼロであり、インターネット接続がない環境でも完全に機能する。また、AIモデルのGemmaがOllamaを通じて提供されているため、将来的にはユーザーが異なる性能のAIモデルに簡単に切り替えることも可能だ。これは、AIモデルがアプリの「設定」の一部であり、固定の「依存関係」ではないことを意味する。さらに、アーカイブは単なる音声ファイルとそれに対応する文字起こしテキストの集まりとしてローカルに保存されるため、もしMarigold Archiveを構成するすべてのツールが将来使えなくなったとしても、その物語やデータ自体は依然として読み取り可能な形で残る。この「耐久性」も重要な利点の一つである。

Marigold Archiveが提供するのは、単に音声を保存する場所だけではない。それは、失われがちな家族の物語や記憶に、一つ一つ小さなキャンドルの火を灯し続けることである。祖母が語ったディワリの早朝の記憶のように、短い録音であっても、アーカイブに質問して正確な引用とタイムスタンプを得る体験は、単なるファイルを検索するのとは全く異なる感覚をもたらす。声がただ保存されているだけでなく、それに「尋ねる」ことができるという点に、このアプリの大きな価値がある。このような物語は、通常、誰かの心の中にだけ存在し、その人がいなくなると共に消え去ってしまうことが多い。Marigold Archiveは、それぞれの物語のためにその小さな火を灯し続けることを可能にするのである。