【ITニュース解説】FixIt: AI Troubleshooter for Non-Technical Friends

このプロジェクトはHomeWatchと名付けられ、友人のために開発されたAIアシスタントである。主な目的は、留守中の家の様子、特にペットの監視をより簡単かつプライバシーに配慮して行うことであった。従来の監視カメラが抱える問題を解決し、利用者が自然な言葉で質問するだけで、特定の出来事を知ることができるようにする。

従来の監視カメラでは、数時間にわたる映像を全て確認することは非常に手間がかかる作業であった。例えば「犬が何をしたか」といった簡単な疑問に答えるためだけに、何度もカメラアプリを開き、映像を早送りして確認するなどの手間が生じていた。HomeWatchは、この問題を解決するため、カメラ映像をローカルで分析し、何が起こったかの簡単なタイムラインを作成する。これにより、ユーザーは「ルナが外出中に何をしたか？」「誰か玄関に来たか？」「変わったことはなかったか？」といった具体的な質問を自然な言葉で投げかけ、すぐに回答を得られるようになる。システムは、関連する出来事を自動で検出し、簡潔に要約する。さらに、犬が長時間玄関で待つといった、普段とは異なる異常な行動も自動でハイライト表示できる点が特徴である。

HomeWatchの最も重要な特徴の一つは、そのプライバシー保護への強い配慮だ。カメラの映像は、決して外部の商用AIサービスにアップロードされることはなく、全て自宅内で処理される。これは、家庭内の映像という非常にプライベートな情報が、第三者の手に渡るリスクを完全に排除することを意味する。ユーザーは自宅の状況を安心して確認できる。

HomeWatchは、オープンウェイトのAIモデルをローカル環境で動作させることで実現されている。具体的には、コンピュータビジョン、ビデオ処理、ローカルエンベディング、そしてローカル言語モデルといった複数の技術が組み合わされている。 基本的な処理の流れは次の通りだ。まず、家庭内に設置されたカメラからの映像ストリームが入力される。次に、その映像から「フレーム/イベント検出」という処理が行われる。ここでは、映像の内容を分析し、人物、動物、特定の物体、あるいはシーンの変化（例えば、犬が場所を移動した、人が入室したなど）が自動的に検出される。これらの検出された情報から、さらに具体的な「イベント抽出」が行われ、それぞれの出来事が何であったかという情報が整理される。抽出されたイベントは、「ローカルビジョンモデル」によってより詳細に分析され、その結果が「イベントデータベース」に保存される。このデータベースには、いつ、どのような出来事が起こったかという情報がタイムスタンプ（日時情報）とともに入っている。 ユーザーが自然言語で質問をすると、「ローカルLLM（大規模言語モデル）」と「RAG（検索拡張生成）」という技術が組み合わさり、イベントデータベースから質問に関連する情報を検索し、質問に対する適切な回答を生成する。この仕組みにより、システムは映像全体を毎回分析し直すことなく、事前に保存されたイベント履歴から迅速に回答を導き出すことが可能だ。また、使用されるAIモデルは交換可能であり、ユーザーは自身のハードウェアの性能や目的に合わせて、様々なオープンウェイトモデルの中から最適なものを選択できる柔軟性も持っている。例えば、より高性能なサーバーがあれば高度なモデルを、限られたリソースであれば軽量なモデルを選ぶことができる。

オープンな技術とローカル処理のアプローチは、多くの重要な利点をもたらす。まず、前述の通り、家庭内の映像が外部に漏れる心配がなく、「プライバシー」が確実に確保される。次に、AIモデルが一度インストールされれば、インターネット接続がない「オフライン環境でもシステムが動作」できるため、ネットワークの不具合に左右されず、安定した運用が可能となる。また、映像の処理が全てローカルで行われるため、外部のAIサービスに対して「API利用料を支払う必要がない」。これにより、運用コストを大幅に削減できるという経済的なメリットもある。さらに、特定のベンダーが提供するAPIに縛られることなく、様々な「オープンモデルを自由に選択し、試す」ことができるため、常に最新で最適な性能や機能を持つモデルを選び、システムを改善していくことが可能だ。HomeWatchでは、検出、検索、プロンプト生成、モデルといった各層の技術が全て公開されており、ユーザーが「制御・設定できる」ため、自分の環境やニーズに合わせてシステムを細かくカスタマイズすることが可能だ。これは、自宅サーバーなどで技術的な実験をしたいホームラボの愛好家にとっても非常に有用な点である。

HomeWatchの開発は、AIコーディングエージェントの支援を受けて行われた。このエージェントは、イベント処理パイプラインの設計、ローカルでのAI推論ワークフローの実装、そして自然言語でのクエリインターフェースの構築など、開発の様々な段階で大きな役割を果たし、プロジェクトの迅速な実現に貢献した。

HomeWatchは、家庭内監視におけるプライバシー保護と利便性を両立させる、革新的なAIソリューションであり、オープンソース技術の可能性を示す良い例である。