【ITニュース解説】Google's AI Mode gets better at understanding visual prompts

GoogleのAI検索機能「AI Mode」が、視覚的な情報を理解する能力を大きく向上させた。このアップデートは、ユーザーが画像や動画を使って検索する際の体験を根本的に変える可能性を秘めている。システムエンジニアを目指す上で、このようなAI技術の進化がユーザーにどのような価値をもたらし、どのような技術的背景に支えられているのかを理解することは非常に重要だ。

これまでGoogleは、3月上旬からAI Modeの提供を開始し、徐々に機能を追加してきた。しかし、米国内のすべてのユーザーがAI Modeを利用できるようになった後、画像に関する質問に対しては、AIが膨大なテキストで応答するという課題があった。例えば、ある画像をAI Modeに見せて「この画像について教えて」と尋ねると、画像の内容を長々と文章で説明するだけで、視覚的な情報そのものを深く理解しているとは言えない状況だった。Google検索の製品担当副社長も、この状況を「滑稽（silly）」と表現しており、テキスト中心の応答はユーザーの意図から外れることが多かったのだ。

この課題を解決するため、GoogleはAI Modeの「query fan-out（クエリ・ファンアウト）」という技術を画像検索に応用した。クエリ・ファンアウトとは、ユーザーが入力した一つの検索要求（クエリ）に対して、AIがその裏側で複数の関連する検索を自動的に派生させ、多角的に情報を集めることで、より深い理解と精度の高い結果を導き出す技術を指す。今回のアップデートでは、この技術を画像や動画といった視覚情報に適用することで、AIがユーザーの視覚的な意図をより正確に捉えられるようになった。

具体的には、「moodyだが、maximalist（装飾過多）な寝室の画像を探してほしい」といった、抽象的で複雑なニュアンスを含むリクエストにも対応可能になった。AI Modeは、このような曖昧な言葉からユーザーが本当に求めているものを推測し、バックグラウンドで複数の検索アルゴリズムを並行して実行する。これにより、「moody」という雰囲気や「maximalist」というスタイルをそれぞれ画像から抽出し、それらを組み合わせた最適な結果を生成できるようになる。これは、単にキーワードマッチングを行う従来の検索とは一線を画す、高度な画像理解能力と言える。

さらに、今回の新機能は「マルチモーダル」に構築されている。マルチモーダルとは、AIがテキスト、画像、動画、音声など、複数の異なる種類のデータを組み合わせて処理できる能力を意味する。AI Modeでは、テキストだけでなく、画像や動画を会話の出発点として利用できるようになる。これにより、ユーザーは気になる写真や動画を直接AI Modeに提示し、それについて質問したり、関連する情報を探したりすることが可能になった。

このマルチモーダルな機能は、特にショッピングの文脈で大きな力を発揮するとGoogleは考えている。これまでもAI Modeを使って買い物をすることは可能だったが、今回の視覚的な応答能力の強化によって、その体験は劇的に向上する。例えば、SNSで見かけたお洒落な服の写真をAI Modeに見せて「これと似た服を探して」と尋ねたり、「丈が長すぎないバレルジーンズを探してほしい」といった、微妙なニュアンスを含む難しいリクエストにもAI Modeは対応できるようになる。AIが最初の応答を生成した後も、ユーザーはさらにフォローアップの質問をすることで、検索結果をより細かく絞り込み、自身の好みに合ったアイテムを見つけることができるのだ。

このようなAI技術の進化は、単に利便性を高めるだけでなく、システム開発におけるユーザーインターフェース設計やアルゴリズム開発の方向性を示唆している。ユーザーが直感的に、かつ曖昧な表現でも意図を伝えられるようなシステムは、開発者にとっても挑戦的なテーマとなる。ユーザーの漠然とした要望を、システムがどのように解釈し、具体的な処理に落とし込むかという問題意識は、システムエンジニアとして常に持ち続けるべき視点である。

今回のGoogleのアップデートは、順次すべてのユーザーに適用されるため、すぐに新しい視覚的な体験を試せない場合もある。しかし、この進化がAI検索の未来をどのように形作るか、そしてそれが私たちのデジタルライフにどのような影響を与えるかには大いに注目すべきだ。