【ITニュース解説】Meta open sources code to let you make Muse AI gadgets

このニュース記事は、AI（人工知能）技術とオープンソースソフトウェアを組み合わせることで、身近な課題をどのように解決できるかという、具体的な開発事例を紹介している。Meta社が公開したMuseというAIモデルと、Amblyotubeというオープンソースプロジェクトを活用し、家庭で弱視治療に役立つ視線追跡システムを開発したという話だ。

開発は、まずAmblyotubeのコードを「クローン」することから始まった。これは、Amblyotubeというソフトウェアのプログラムコード一式を、自身のコンピューターにダウンロードし、利用できるようにする作業を指す。このプロジェクトでは、ラズベリーパイという手のひらサイズの小型コンピューターが使用された。ラズベリーパイは安価でありながら汎用性が高く、プログラミング学習や電子工作によく利用される。

このシステムの中核となるのが、Meta社が公開したMuseというAIモデルだ。Museは、画像を分析して特定のパターンを認識する能力を持つAIで、特に「トランスフォーマー」という高性能なアーキテクチャ（構造）を採用している。このモデルの大きな特徴は、「INT8量子化」という技術によって軽量化されている点にある。これは、AIが内部で扱う数値の精度を最適化することで、計算量を減らし、処理を高速化する技術だ。この技術により、Museモデルはラズベリーパイのような小さなデバイス上でも、スムーズかつ高速に動作することが可能になっている。開発者は、AmblyotubeとMuseモデルを組み合わせることで、視線追跡（gaze-tracking）において30ミリ秒以下の「低遅延」（入力から出力までの時間が非常に短いこと）を実現することを目指した。

開発の初期段階では、安価なIR（赤外線）カメラをラズベリーパイに接続し、視線追跡のためのハードウェアをセットアップした。次に、「カメラの内部パラメータ」（camera-intrinsics JSON）と呼ばれる、カメラが画像をどのように捉えるかという特性を示すデータを調整する作業が必要だった。これにより、カメラで撮影した画像から、より正確な視線の位置を計算できるようになる。調整後、視線の動きを示す「ヒートマップ」がコンピューターの画面に表示されるようになったが、初期段階ではその動きが不安定だった。

この不安定さを解消するために、「カルマンフィルター」というアルゴリズムが導入された。カルマンフィルターは、時間とともに変化するデータの誤差を推定し、より正確な値に修正する数学的な手法だ。これにより、赤外線カメラから得られる視線データに含まれるノイズが除去され、視線の追跡が非常に安定し、スムーズな動きが実現された。

さらにシステムの精度を高めるため、AIモデルの学習方法にも工夫が凝らされた。Museモデルの論文で提案されていた「コントラスティブ目的関数」という特別な学習目標が採用され、これを「損失関数」として用いた。損失関数とは、AIの予測と実際の正解とのズレを示す指標であり、この値が小さくなるようにAIは学習を進める。この手法は、特に「few-shot adaptation」という、非常に少ない学習データ（この場合は数回分の弱視治療セッションのデータ）からでも、AIモデルを特定のタスクに効率的に適応させる技術において有効だ。開発者は、姪の弱視治療データを使ってモデルを再学習させた結果、視線追跡の「キャリブレーション誤差」（実際に視線を捉えている位置と、ユーザーが本当に見ている位置とのずれ）が2.4度から0.7度へと大幅に改善された。この学習プロセスは、200「エポック」（AIが学習データ全体を一通り学習し終えるまでの回数）未満で完了したという。

これらの改良を加えても、AIモデルのサイズはわずか4MB未満に保たれた。この軽量性により、ラズベリーパイは冷却ファンなしでも、毎秒60フレーム（60fps）という非常に高速な速度で視線の位置を「推論」（学習済みのAIモデルが新しいデータに対して予測や判断を行うこと）できるようになった。これは、まるで自分の目が画面と直結しているかのような、遅延のない自然な視線追跡体験を可能にする。

この技術開発の最終的な成果は、単なる数値的な性能向上だけにとどまらなかった。システムが完成し、姪が画面上の蝶が自分の目の動きに合わせて遅延なく動くのを見て笑った瞬間が、開発者にとって最も印象的な出来事だったという。この瞬間は、技術が人の感情に訴えかけ、生活に具体的な喜びをもたらす可能性を明確に示している。

このプロジェクトは、オープンソースの仕組みが開発の「足場」を提供し、MetaのMuseモデルがシステムに「脳」となるAIの能力を与え、Amblyotubeが具体的な「配管」として機能することで実現された。これにより、本来は研究室レベルの試作機でしかなかったものが、家庭のリビングルームで実際に使える治療ステーションへと変貌を遂げたのだ。

この事例は、たとえ個人の「サイドプロジェクト」（本業とは別に個人的に取り組むプロジェクト）であっても、オープンソース技術とAIを組み合わせることで、現実世界における大きな問題解決に貢献できることを強く示唆している。そして、その開発されたコードは「GitHub」（ソフトウェア開発者がコードを共有し、協力して開発を進めるためのウェブサービス）で公開されており、誰もがその技術を活用し、さらなる改良に「プルリクエスト」（GitHubなどで、開発者が既存のコードに変更を加えたいときに、その変更内容を提案する仕組み）を送ることで、プロジェクトに貢献できる道が開かれている。