【ITニュース解説】S3 Vectors Now Filters Before It Searches: Metadata Pre-Filtering for Multi-Tenant RAG

Amazon S3 Vectorsは、テキストや画像などの情報を「ベクトル」と呼ばれる数値の並びに変換し、互いに似た情報を効率的に検索するためのAWSのサービスだ。このベクトル検索技術は、RAG（Retrieval Augmented Generation）というAIシステムで重要な役割を果たす。RAGは、ユーザーの質問に対し、大量のデータから関連情報を探し出し（Retrieval）、それに基づいてAIが自然な文章を生成する（Generation）仕組みで、AIが最新かつ正確な情報に基づいて回答する上で不可欠となる。今回のニュースは、複数の利用者（テナント）が同じシステムを共有する「マルチテナント」環境でS3 VectorsをRAGシステムに利用する際の、大きな改善点についてだ。

これまでS3 Vectorsでは、特定の条件でデータを絞り込んで検索する際に「CLASSICモード」という動作をしていた。大規模なベクトル検索は、通常、すべてのデータを網羅的に調べるのではなく、効率的に似た情報が存在しそうな領域を「近似的」に探索する。CLASSICモードでは、この近似探索と同時に、例えば「特定のテナントIDのデータだけ」といったフィルターが適用されていた。

しかし、もしフィルターが非常に厳しく、検索対象全体のほんの一部しか条件に合致しない場合、問題が発生した。探索の過程でフィルターに合致しないベクトルが次々と除外されると、検索エンジンが本来割り当てられた予算（探索できる範囲や回数）を使い果たしてしまい、最終的にユーザーが求めていた「最も関連性の高いK個の結果」を十分に得られない、あるいは、フィルター条件を満たすデータの中で真に最も近い情報ではないものが返されてしまうことがあった。例えば、あるテナントのデータの中から最も近い10個の情報を求めても、実際には3個しか返ってこなかったり、その3個もそのテナントのデータの中では最適ではなかったりする状況だ。システムからはエラーが報告されないため、開発者や利用者は気づかないうちに、AIが十分な文脈なしに回答していた可能性があった。

この課題を解決するため、AWSはS3 Vectorsに「メタデータプリフィルタリング」という新機能、すなわち「ENHANCEDモード」を導入した。ENHANCEDモードでは、検索プロセスが根本的に変更された。まず最初にフィルター条件を評価し、検索対象となるデータの「サブセット」（絞り込まれた一部分）を特定する。つまり、「このテナントのデータだけを検索する」と決めてから、その絞り込まれたサブセットの中で最も似たベクトルを効率的に探し出す、という手順になる。

この変更により、フィルターが厳しくても、検索エンジンは最初から条件に合致するデータだけを集中して探索できる。その結果、フィルター条件を満たすデータの中から、真に最も近いK個の結果を見つけやすくなる。AWSの発表によると、フィルターが厳しく適用されるシナリオでは、ENHANCEDモードによってCLASSICモードと比べて最大5倍も多くの適切なベクトルが返される可能性があるという。これは、RAGシステムがより豊富で正確な情報源を得て、高品質な回答を生成するために非常に重要な改善となる。

新しいENHANCEDモードは、2026年9月30日以降に作成されるS3 Vectorバケットではデフォルトで有効になる。それ以前に作成されたバケットはCLASSICモードのままだが、開発者はUpdateIndexModeコマンドを使用して、既存のインデックスをENHANCEDモードに切り替えることができる。この際、データの再投入は不要であり、スムーズな移行が可能だ。

また、既存のインデックス全体をすぐに切り替える前に、特定のクエリに対してENHANCEDモードの挙動をテストすることもできる。クエリを発行する際にqueryMode=ENHANCEDというパラメータを指定すれば、そのクエリだけを新しいモードで実行し、その効果を事前に確認できる。

フィルター機能には新たなオペレーターも追加された。文字列の「前方一致」を検出する$startsWithがENHANCEDモードで利用可能となり、特定のパス構造を持つデータを効率的にフィルタリングできるようになる。ただし、ENHANCEDモードのインデックスでは、フィルター条件の数に100個という上限が設定されている。例えば、複数の値を指定する$inオペレーターを使う場合、リスト内の各値が1つの条件としてカウントされるため、動的に長いリストを生成するフィルターを使用する際は注意が必要だ。

このENHANCEDモードの利用や移行に対して、AWSからの追加費用は発生しない。既存のS3 Vectorsの料金体系内で、性能向上を享受できる。

この新機能は強力だが、導入にあたってはいくつか考慮すべき点がある。まず、テナントフィルターを使用しても、それは厳密なデータの「分離」を意味しない。もしフィルターの適用ロジックに不備があった場合、他のテナントのデータにアクセスできてしまう可能性があるため、厳格なデータ分離が必要な場合は、引き続きテナントごとにS3 Vectorインデックスを分け、AWS IAMポリシーでアクセス権限を厳密に管理することが推奨される。

また、フィルター条件の数（100個）や、メタデータの容量制限に注意しながら、効率的なフィルター設計を行う必要がある。日付などの情報は、文字列ではなく数値型として保存することで、範囲指定などのオペレーターを適切に利用できる。

さらに、フィルターの適用範囲や条件数が増えると、クエリのレイテンシ（応答時間）に影響が出る可能性もある。AWSは、インデックスサイズ、フィルターの広さ、条件の数が増加するとレイテンシが増える可能性があると指摘しているため、本番環境での導入前には十分な性能テストを行うべきだ。

今回のメタデータプリフィルタリング機能の導入は、S3 Vectorsを利用したRAGシステム開発において、これまでの大きな制約を取り除くものだ。開発者は、検索エンジンの内部的な制約を過度に意識することなく、本来解決したいビジネス上の課題、例えばマルチテナント環境における情報提供の精度向上に、より集中できるようになる。特に、多数の小規模テナントが単一のインデックスを共有するシナリオにおいて、これまで懸念されていた検索結果の品質低下のリスクが大幅に軽減される。これにより、大規模テナント向けには専用インデックス、小規模テナント向けには共有インデックスを利用するといった、より柔軟でコスト効率の良いシステム設計が可能となる。これは、クラウド上で高度なAIアプリケーションを構築するシステムエンジニアにとって、ユーザー体験を向上させるための重要な進化となるだろう。