【ITニュース解説】Soft With Meaning: an offline companion for Vivaldi's Four Seasons, built for one friend

このプロジェクトは、「Soft With Meaning」と名付けられ、ヴィヴァルディの有名な楽曲「四季」を、一人の友人がより深く理解し楽しむためのオフラインツールとして開発された。このツールは、開発者の友人が静かな環境で「四季」を聴くことを好み、その音楽に「Soft with meaning（意味を伴う柔らかさ）」という表現を見出したことにインスピレーションを受けている。これは、広範な市場向けに設計されたものではなく、一人の大切な友人のために、彼らが本当に価値を感じる「小さな一つのもの」を作るという、非常に個人的な動機から生まれたものである。

このツールの主な機能は、ユーザーが「四季」の特定の季節と楽章を選択すると、その音楽が表現している具体的な内容を表示することにある。例えば、楽曲に付随するソネットの歌詞や、作曲家が楽譜に書き残した「吠える犬」「暑さによる倦怠」「酔っ払いが眠りについた」といった注釈が、一文ずつ示される。また、音楽がどのようにして情景や感情を描写しているか（これをワードペインティングと呼ぶ）も解説される。例えば、春の楽章における「犬の鳴き声」はヴィオラが二つの短い音を繰り返すことで表現され、夏の「雷」はトレモロ奏法、冬の「雨」はピチカート奏法によって描写されていることなどが説明される。さらに、このツールはWeb Audio APIという技術を使って、楽譜に描かれている「犬の鳴き声」や「雷鳴」「死にゆく獲物」といった具体的な音のモチーフを、著作権のある録音データに頼ることなく、その場で生成して聞かせることができる。

また、このツールには「楽譜に質問する」という独自の機能がある。ユーザーが例えば「夏の雷とは何か？」といった質問を入力すると、その意味に最も合致する解説文の行が提示される。これは、ユーザーが音楽を聴きながら抱く疑問に対し、直接的な情報を提供することを目的としている。

このプロジェクトにおいて、「オープンであること」は設計の根幹をなす重要な原則である。これは、ツールが一人の友人の個人的な利用を前提としており、そのプライバシーを最大限に保護するためである。このシステムはウェブブラウザ上で完全に動作し、外部のサーバーを一切使用しない。そのため、ユーザーアカウントやAPIキーの必要がなく、友人がどのような音楽を聴き、どのような質問をしたかといった個人情報は、すべて友人のデバイス内に留まり、インターネットを通じて外部に送信されることは決してない。

さらに、このツールで使用されている人工知能（AI）モデルもオープンウェイトである。「all-MiniLM-L6-v2」という軽量なモデルが、JavaScriptのライブラリであるtransformers.jsを通じてブラウザ内で実行される。このモデルはファイルサイズが数メガバイトに「量子化」（データサイズを小さくする処理）されており、一度デバイスにダウンロードされればキャッシュされるため、インターネット接続がないオフライン環境でも問題なく動作する。このようなオープンなモデルの採用は、システムの運用コストがかからないという利点だけでなく、開発者が将来的にモデルを自由に更新したり、より小型化したり、ネットワーク接続なしで動作する他のデバイスに移植したりできる柔軟性も提供する。もし外部のホスト型モデルを利用する選択をしていた場合、利用料が発生し、友人の質問履歴が外部サーバーに保存される可能性があったが、このプロジェクトの目的からすると、それは不適切なトレードオフであると判断された。

具体的な技術的仕組みとしては、開発者がまず「四季」のソネットや楽譜の注釈から、手作業で独自の小さなテキストデータセット（コーパス）を作成した。情報検索の際には、transformers.jsライブラリがall-MiniLM-L6-v2モデルをロードし、ユーザーの質問文とコーパス内のすべての解説文をそれぞれ「ベクトル」（数値の並び）に変換する。そして、これらのベクトルの「コサイン類似度」（ベクトルの向きがどれだけ似ているかを示す指標）を計算し、意味的に最も近い解説文の行を特定して表示する。また、小さな埋め込みモデルだけでは、「雷」のような特定の単語が、より漠然とした意味的な一致に埋もれてしまう可能性があったため、単語の重複検索も組み合わせて、検索の精度を高めている。

開発過程での教訓として、当初は「distilbert-squad」という別の質問応答モデルを導入することも検討されたが、「春の犬を演奏しているのは何か？」という質問に対し、モデルが誤って「goatherd」（山羊飼い）と回答するなど、間違った情報を生成する問題が明らかになった。そのため、このモデルは削除され、代わりに最も関連性の高い行をそのまま提示し、それが何をしているのかを明示的にユーザーに伝える設計に変更された。これは、「記録された情報をそのまま示すこと、決して情報をでっち上げないこと」という開発者の強い信念に基づいている。万が一AIモデルのロードに失敗した場合でも、システムは自動的に単純な単語検索に切り替わる（これをフォールバックと呼ぶ）ため、基本的な機能は維持されるように設計されている。

このツールは、ヘッドレスブラウザ（画面表示なしでプログラム的にウェブページを操作するツール）を用いたエンドツーエンドテストによって動作が確認されている。テストでは、AIモデルが正常にロードされ、「犬の吠える音はヴィオラの二つの音の繰り返しである」「遠くの雷は低く柔らかいトレモロである」「死にゆく獲物は半音階の下降と沈黙である」といった五つの質問に対し、すべて正しい解説文の行が返されることが確認された。開発者はまだ友人にこのツールを見せていないが、将来的に友人が他のプログラム音楽の解説を望んだり、他の楽器に対応させたり、完全にオフラインで動作する別のモデルに切り替えたりすることも、そのオープンな設計のおかげで容易に可能であると述べている。