【ITニュース解説】We asked five AI assistants about our own studio. They quoted prices we had changed the week before.
2026年10月27日に「Dev.to」が公開したITニュース「We asked five AI assistants about our own studio. They quoted prices we had changed the week before.」について初心者にもわかりやすく解説しています。
ITニュース概要
AIアシスタントは会社の情報を答える際、最新のウェブサイトではなく、古いディレクトリ情報やウェブサイトの過去のデータから引用することがある。そのため、誤った価格や電話番号を案内する事例が発生する。企業はAIが正しい情報を参照できるよう、自社サイトだけでなく古い情報源も常に更新する必要がある。
ITニュース解説
近年、人工知能(AI)アシスタントは知りたい情報を瞬時に提供する便利なツールとして広く利用されている。しかし、これらのAIアシスタントが提示する情報が、常に最新かつ正確であるとは限らないという重要な問題がある。あるスタジオが自身のビジネスについてAIアシスタントに質問し、その回答の正確性を検証する実験を行った。この実験は、AIアシスタントがどのように情報を収集し、なぜ誤った情報を提供してしまうのか、そしてビジネスオーナーがその問題にどう対処すべきかについて、私たちに貴重な示唆を与えている。システムエンジニアを目指す者にとって、この事例は情報システムのデータの鮮度と信頼性の維持がいかに重要であるかを理解する良い機会となるだろう。
この実験では、とあるスタジオが2026年10月24日に、ChatGPT、Gemini、Perplexity、Microsoft Copilot、Google AI Overviewという5種類のAIアシスタントに対し、合計20の質問を投げかけた。質問は二つのタイプに分けられた。一つはスタジオの名前や製品名を具体的に挙げた質問(5問)で、もう一つは「CRMとAI受付を提供してくれるサクラメントの代理店」のように、ビジネスが提供するサービス内容を記述して探すような質問(15問)であった。過去の会話履歴が影響しないよう、一時的またはプライベートなチャットモードで質問が実行された。
実験の結果、AIアシスタントがスタジオを特定する能力には大きな差があることが判明した。スタジオ名を明示して質問した場合、ほとんどのAIアシスタントはスタジオを見つけることができた。しかし、「どのようなサービスを提供しているか」といった、より一般的な仕事内容を記述する質問では、AIアシスタントがそのスタジオを特定できることはほとんどなかった。例えば、あるAIアシスタントは仕事内容に関する15の質問に対して一度もスタジオ名を挙げられず、最も成績が良かったGoogle AI Overviewでさえ、2つの質問でしかスタジオを特定できなかった。この結果から、AIアシスタントはウェブ検索の結果に強く依存しており、特定のキーワード(この場合はスタジオ名)がなければ、似たような多くの情報の中から目的のビジネスを絞り込むのが難しいことがわかる。検索結果には、都市情報ページや一般的なディレクトリ、競合他社のレビューなどが表示されがちで、目的のスタジオが埋もれてしまっていたのだ。
さらに深刻な問題は、AIアシスタントが提供する情報の正確性であった。実験の数日前にスタジオは料金体系を変更していたにもかかわらず、多くのAIアシスタントが古い価格を提示した。例えば、ChatGPTは1週間前に変更したばかりの古い料金表に加え、現在使用していない古いメールアドレスや電話番号、さらにはウェブサイトの古いタイトルを引用した。これは、ChatGPTがスタジオのウェブサイトの「古いスナップショット」、つまり過去のある時点のコピーを参照していたためであった。Copilotもまた、Yahoo Localというディレクトリサイトに掲載されていた古い価格情報を引用した。また、設立年についても誤りが見られた。実際には2021年に事業を開始していたスタジオに対し、CopilotやGeminiは2023年と回答した。これは、The Manifestのようなビジネスディレクトリサイトの古い情報や、その古い情報が転載された他のサイトから取得された可能性が高い。Google AI Overviewに至っては、スタジオのレビューを尋ねられた際、スタジオが過去にレビューしたことのある他のビジネス(リフォーム業者)の評価を、誤ってスタジオ自身の評価として回答してしまった。この間違いは、スタジオがInstagramに投稿したそのリフォーム業者のレビューが、AIによって「スタジオに関するレビュー」と誤読されたために起こったものであった。
これらの間違いは、AIアシスタントが「どこから情報を得ているか」という点に深く関わっている。スタジオのウェブサイトは常に最新の情報に更新されていたにもかかわらず、AIアシスタントは最新のライブサイトから情報を取得していなかった。代わりに、彼らが参照していたのは、ビジネスディレクトリサイトの古いリスト、他のサイトに転載されたこれらのリスト、自社サイトの古いウェブページのスナップショット、そして文脈を無視して読み取られた自社のソーシャルメディア投稿など、「コピー」の情報であった。例えば、Yahoo Localに掲載されていた古い情報は、Yelpの古い情報が転載されたものであり、Yelpの情報が更新されない限り、Yahoo Localの情報も更新されないという連鎖があった。ウェブサイトを修正するだけでは、インターネット上に存在する無数の「コピー」の一部を修正したに過ぎないという現実がここにはある。
この実験結果は、自身のビジネスを運営する人々にとって非常に重要な意味を持つ。AIアシスタントは、ビジネスオーナーに直接最新情報を尋ねることはない。代わりに、彼らはインターネット上に存在するあらゆる「コピー」を読み込み、それをあたかも真実であるかのように提示する。ウェブサイトの情報を最新に保つことは当然必要だが、それだけでは不十分であり、各種ビジネスディレクトリやSNSなど、自社に関する情報が掲載され得るすべての場所の情報を定期的に確認し、修正することが求められるのだ。もし価格や電話番号、住所を変更した場合、古い情報がインターネットのどこかに残り続け、AIアシスタントがそれを自信満々に提供する可能性が非常に高い。
このような状況を踏まえ、ビジネスオーナーは定期的に自社の情報をチェックする習慣を身につけるべきである。まず、顧客が利用する可能性のあるAIアシスタント(プライベートモードで)を開き、「あなたのビジネス名」「あなたのビジネス名と価格」「あなたのビジネス名とレビュー」の3種類の質問を投げかけてみる。次に、AIアシスタントの回答だけでなく、その情報がどこから引用されたのかという情報源をすべて記録する。そして、記録した情報源を一つ一つ開き、現在の正確な情報(電話番号、価格、サービス内容、設立年、サービス提供地域など)と比較し、間違いがないか確認する。間違いが見つかった場合、ログインして修正できるディレクトリはすぐに修正し、ログインできない場合はその情報源となっている元のサイトを特定して修正する。例えば、あるディレクトリが別のディレクトリから情報をコピーしている場合、元のディレクトリを修正すれば、コピー元の情報もいずれ修正される可能性がある。最後に、Googleビジネスプロフィールを確認し、電話番号や営業時間、サービス内容などが正確であることを確認する。これらの確認作業を行った日付を記録し、数週間後に同じ質問を繰り返して、情報が更新されているかを確認することが重要だ。今回の修正は、すべて無料で実施できたという点も注目に値する。修正がAIアシスタントの回答に反映されるまでの正確な期間は不明であり、ディレクトリの更新、検索エンジンの再クロール、そしてAIアシスタントへの反映という複数のステップが必要となるため、定期的な確認が不可欠である。
この事例から、システムエンジニアを目指す皆さんは、データの鮮度と信頼性の重要性を深く学ぶことができる。AIシステムは、その基盤となるデータの品質に大きく依存する。不正確なデータや古いデータが入力されれば、どれほど高度なAIモデルであっても、誤った出力しか返せない。「ゴミを入れればゴミしか出ない(Garbage In, Garbage Out: GIGO)」という情報システム開発の基本的な原則は、AI時代においても変わらない真実である。また、異なるシステム間で情報が同期されず、古い情報が残り続ける「データのサイロ化」の問題も浮き彫りになる。ウェブサイト、ビジネスディレクトリ、SNSなど、複数の情報源が存在する現代において、いかにして情報の整合性を保ち、利用者に常に正確で最新の情報を提供できるシステムを構築するかは、今後のシステムエンジニアリングにおける重要な課題の一つとなるだろう。この実験は、AIの進化が止まらない時代において、データの管理と品質保証がいかに重要であるかを改めて教えてくれる貴重な事例である。