【ITニュース解説】Ask Your Video: Build a Containerized RAG Application for Visual and Audio Analysis

このニュース記事は、動画の内容を自然言語で検索できるアプリケーション「Ask Your Video」を、コンテナ技術とRAG（Retrieval Augmented Generation）というAIの仕組みを組み合わせて構築する方法を解説している。RAGとは、事前に情報を検索して取得し、それをもとにAIが回答を生成する技術のことで、これを動画コンテンツに応用する点が注目される。

以前のバージョンでは、Jupyter Notebookを使ってシステムの試作が行われたが、動画処理は大量の計算資源（CPU）を消費するため、多くの動画を同時に処理するスケーラビリティ（拡張性）や、必要な資源を効率的に管理することが課題として浮上した。この課題を解決するため、今回の記事ではアプリケーションを「コンテナ化」することで、スケーラビリティとリソース管理を大幅に改善する手法を示している。

コンテナ化とは、アプリケーションとその実行に必要なすべての要素をひとまとめにした「コンテナ」という独立した環境を作成する技術である。この技術を用いることで、Amazon Elastic Container Service (ECS) を活用し、無制限の処理時間を確保し、大量の動画コンテンツも効率的に処理できるようになる。また、Dockerコンテナは、開発環境と本番環境でアプリケーションの動作を一貫させ、環境設定の手間を削減する。さらに、AWS Step Functionsというサービスを用いることで、複雑な動画処理の工程を信頼性高く自動で実行し、全体的なワークフローを堅牢に管理する。これらの技術を組み合わせることで、大規模な動画コンテンツでも安定して処理できるアプリケーションが実現する。

この動画分析システムの動作原理は以下のようになる。まず、動画ファイルがAmazon S3というクラウド上のストレージサービスにアップロードされると、これをトリガーとしてAWS Step Functionsのワークフローが自動的に開始される。このワークフローは、動画の処理を「視覚（映像）」と「音声（オーディオ）」の二つのブランチに分けて、それぞれの処理を同時に並行して進める。

視覚ブランチでは、Amazon ECSのタスクとして実行されるコンテナ内で、動画処理ツールであるFFmpegが動作し、動画から1秒間に1フレームの割合で静止画（フレーム）を抽出する。抽出されたフレームは、類似度に基づいて重複するものを削減し、ストレージコストを最小限に抑える。その後、選ばれたユニークなフレームはAmazon BedrockというAIサービスに送られ、その画像の内容を表す数値データである「埋め込み（Embedding）」が生成される。この埋め込みは、コンピュータが画像の内容を理解し、後で検索できるようにするための表現である。

一方、音声ブランチでは、Amazon TranscribeというAIサービスが動画の音声トラックをテキストに変換する。この際、話者分離（Speaker Diarization）機能が有効になっているため、誰がいつ話したかを識別しながらテキスト化される。転写されたテキストは、話者の変更や時間に基づき細かくセグメント（区切り）に分けられ、これもAmazon Bedrockに送られて、音声の内容を表す埋め込みが生成される。

映像と音声、それぞれの埋め込み生成処理が完了すると、それらの結果はLambda関数という小さなプログラムによって統合される。そして、Amazon BedrockのTitanというマルチモーダルモデルを使って、映像と音声両方の情報を組み合わせた最終的な埋め込みが生成される。この最終的な埋め込みは、Amazon Aurora PostgreSQLというデータベースに保存される。このデータベースには「pgvector」という拡張機能が組み込まれており、膨大な埋め込み（数値データ）を効率的に保存し、高速に検索できる仕組みが提供される。

このような高度なシステムを構築するために、この記事ではAWS Cloud Development Kit (CDK) というツールを使って、インフラストラクチャをコードで定義し、自動的にデプロイする手順を示している。具体的な構築ステップは以下の通りである。まず、コンテナ化された動画処理の基盤となるAmazon ECSクラスターをデプロイする。このクラスターは、多数のコンテナを効率的に実行し、動画処理に必要な計算資源を提供する。次に、映像と音声から生成された埋め込みを保存するためのAmazon Aurora PostgreSQLベクトルデータベースをデプロイする。このデータベースは、ベクトルデータ（埋め込み）の保存と検索に特化している。続いて、動画のアップロードから埋め込み生成までの一連の処理を自動化するStep Functionsワークフローをデプロイする。そして最後に、ユーザーが自然言語で動画コンテンツを検索するためのAPI (Application Programming Interface) をデプロイする。このAPIを通じて、保存された埋め込みデータにアクセスし、関連する動画コンテンツを検索できるようになる。

システムがデプロイされた後、実際にその機能をテストできる。提供されたテスト環境において、Amazon S3バケットに動画ファイルをアップロードすると、設定されたStep Functionsワークフローが自動的に起動し、映像の抽出、音声の転写、埋め込みの生成、そしてAurora PostgreSQLへの結果保存までの一連の処理が実行される。処理完了後、Jupyter Notebookなどのツールを利用して、Aurora PostgreSQLに直接クエリを発行するか、デプロイされたAPIを通じて自然言語で質問を投げかけることで、動画の内容に応じた検索結果を取得できることを確認できる。

このコンテナ化された動画分析システムの構築は、従来のプロトタイプに比べて、多くの動画ファイルを同時に処理できるスケーラビリティ、処理途中の問題にも強く自動復旧できる信頼性、必要な計算資源だけを利用することで費用を抑えるコスト最適化、そしてどの環境でも一貫した動作を保証し管理しやすい保守性といった、複数の重要な利点をもたらす。

さらに、この記事は現在のソリューションに留まらず、その将来的な展望にも触れている。この動画処理パイプラインは、今後の「AIエージェント」との連携によって、さらに高度な対話型アプリケーションへと進化する可能性を秘めている。AIエージェントが、この動画処理APIに接続するカスタムツールとして機能することで、自然言語での動画コンテンツ分析、映像と音声の両方の要素に基づいた文脈に沿った応答、そして動画ライブラリ全体にわたる複雑なマルチモーダルな対話が可能になる。これは、インテリジェントな動画検索アシスタント、コンテンツモデレーションエージェント、自然言語指示に応答する自動動画分析ワークフローなど、さまざまな新しいアプリケーションの実現へとつながる道を示すものである。