【ITニュース解説】Why We Left SleekFlow After Its AI Agent Started Confidently Lying to Customers

システムエンジニアを目指す皆さんにとって、AI技術の進化は目覚ましく、その応用範囲は広がる一方だ。しかし、その裏側には予期せぬ課題も潜んでいる。この記事では、AIエージェントが顧客対応で「自信満々に嘘をつく」という深刻な問題と、それを防ぐためにどのような設計や運用が求められるかを具体的に解説する。

まず、AIチャットボットが誤った情報を顧客に伝えてしまい、大きな問題に発展した事例がある。Booking.comのAIチャットボットは、顧客に対して銀行振込での支払いを指示し、その結果、顧客が1,400ユーロを失う事態となった。AIは「おそらく」や「確認してください」といった不確かな表現を一切使わず、断定的に間違った情報を提示したため、顧客は疑いなくそれに従った。この間違いは顧客の信頼を著しく損ね、問題解決には数日かかり、その間に別の費用も発生してしまった。何より問題だったのは、AIがその情報をどこから得たのか、後から確認できる記録が全くなかったことだ。

このような問題は、筆者が利用していたSleekFlowのAIエージェントでも発生した。顧客とのコミュニケーションにWhatsApp Business APIを使い、AIエージェントが自動で返信を送る仕組みだ。テスト段階では、返信は迅速で、ブランドイメージに合致し、形式も整っており、顧客満足度も高かった。しかし、AIはたとえ間違っていても、常に正しいかのように自信たっぷりに振る舞った。そして、裏側でAIが情報を探しきれなかったときに何が起きるか、その監査を怠っていたことが致命的な問題につながった。

問題の核心は、SleekFlowの「AgentFlow」という機能にあった。これは、AIの知識ベースに明確な回答がない場合、AIがその空白を「生成された内容」で埋めてしまうというものだ。つまり、根拠のない情報をAIが勝手に作り出してしまう。しかも、そうした生成された内容は、価格やポリシーに関するものであっても、まるで検証済みの情報かのように、同じトーン、同じ自信、同じ形式で表示される。人間が途中で確認する仕組み（ヒューマン・イン・ザ・ループ）がなかったため、誤った情報が顧客に届くのを防ぐ手立てがなかった。さらに、その返信がどの情報源に基づいているか、あるいは情報源がないのかを示す記録もなかった。

この問題が露呈したのは、2026年7月19日にMetaのAPIが停止し、WhatsApp、Instagram、MessengerがSleekFlow上で利用できなくなったときだ。WhatsApp Business Calling APIによる音声通話の代替手段（ボイスフォールバック）がなかったため、顧客との会話は完全に途絶えるか、沈黙してしまった。この状況で、AIが間違った情報を流している可能性への懸念が高まった。

事態は深刻で、筆者は「ブルータルなワークアラウンド」と呼ぶ強硬な対処法を取らざるを得なかった。それは、AIが生成するすべての返信を手動で確認することだ。SleekFlowのエージェントコンソールとShopifyの管理画面を二つのブラウザタブで常時開き、価格、返品ポリシー、在庫状況など、AIが言及するすべての詳細を手作業で一つ一つ比較し、確認した。AIの誤った情報（ハルシネーション）はすべてGoogleスプレッドシートに記録された。この手動での確認作業は、AIによる自動化で得られるはずだった労力削減効果を完全に帳消しにし、むしろ以前よりも多くの時間を費やすことになった。

この経験から、筆者は新たなAIプラットフォームを選ぶ際に、絶対に譲れない5つの要件を定義した。

一つ目は、「プラットフォームがメッセージごとに情報源を記録するか」という点だ。AIのすべての返信が、どの承認済みドキュメントに基づいているのかを人間が確認できる必要がある。これにより、根拠のない情報が正しい情報と区別できるようになる。

二つ目は、「価格、返金、返品に関する返信を送信する前に、人間による承認を必須にできるか」という点だ。Booking.comの事例のように、これらの情報は顧客に大きな影響を与えるため、AIが高速に返信を生成するだけでなく、リスクの高い状況では必ず人間が介入する仕組みが不可欠だ。

三つ目は、「AIが厳密な根拠に基づいて回答を生成するか、それとも情報がない場合にギャップを埋めることを許すか」という点だ。知識ベースに明確な答えがない場合、プラットフォームは勝手にそれっぽい回答を生成するのではなく、そのことをエスカレーションするか、あるいは回答を拒否すべきだ。SleekFlowの致命的な欠陥は、後者、つまり「ギャップを埋める」ことを許してしまった点にあった。

四つ目は、「Metaの障害時にWhatsApp Business Calling API経由での音声通話の代替手段があるか」という点だ。Metaのサービス障害は実際に発生するため、チャットが使えなくなった場合でも、顧客との会話を継続できる音声通話での代替手段が必須となる。

五つ目は、「返信、受信者、情報源、そして人間による承認を含む完全な監査証跡を得られるか」という点だ。これは単なる会話の記録ではなく、AIが何を言い、なぜそれを言ったのか、必要であれば誰が承認したのかを後から完全に再構築できる記録のことだ。これにより、AIが関与したあらゆる結果について、後から検証し、説明責任を果たすことが可能となる。

筆者はこれらの厳しい基準に基づき、様々なWhatsApp Business Solution Providerを評価した結果、「Respond.io」というプラットフォームがすべての要件を満たしていることを発見した。Respond.ioのAIエージェントは、すべての返信を検証済みの情報源ドキュメントと紐付け、メッセージとともに記録する。機密性の高いトピックについては、メッセージが顧客に届く前に人間による強制的な承認を義務付ける仕組みを備えている。情報が見つからない場合には、根拠のない回答を生成することを厳しく拒否し、問題をエスカレーションする。さらに、Metaの障害時にも会話を継続できるよう、WhatsApp Business Calling APIによる音声通話の代替手段も提供している。そして、すべてのやり取り、参照されたドキュメント、承認プロセスは、紛争解決やコンプライアンスレビューのために監査可能となっている。

この新しいアーキテクチャにより、筆者の業務は劇的に改善された。AIの誤りを追跡するGoogleスプレッドシートは不要になり、AIの返信を手作業で確認する必要もなくなった。システムが情報のギャップを検出し、その会話を自動的に人間へと引き継ぐ。価格、返金、返品に関する重要な会話は必ず人間のレビューを経て承認され、その過程はすべて記録され追跡可能だ。音声通話の代替手段により、外部サービスの障害による会話の途絶も解消された。

ただし、どんなに優れたAIプラットフォームを導入しても、一つ重要な注意点がある。それは、「プラットフォームが古い知識ベースを修正してくれるわけではない」という点だ。承認済みのドキュメントが古いままであれば、AIは忠実に間違った情報を引用してしまう。これは技術的な失敗ではなく、情報管理の「運用規律」の問題だ。筆者は毎月、価格リスト、返品ポリシー、在庫情報などを最新に保つための監査を実施している。これは最も難しい習慣の一つだが、これを怠れば、どんなに優れたアーキテクチャを導入しても、それは偽りの自信を生み出すだけだ。

もしあなたが現在SleekFlowのAIエージェントをWhatsAppで利用しているのであれば、今日すぐにでも、先述の5つの基準に照らして自身のシステム設定を確認してみてほしい。すべてのAI返信が情報源として引用されているか。価格や返金に関する返信に必須の人間によるゲートがあるか。AIが根拠のない「推測」をせず、情報が見つからない場合はエスカレーションするか。WhatsAppやMetaのサービスが停止した際に音声通話の代替手段があるか。そして、あらゆる紛争に備え、すべての返信の情報源と承認を監査できるか。もしこれらの質問に「はい」と答えられないなら、あなたは「盲目的に」システムを運用している状態だ。信頼性の高いAIエージェントの導入は、反応的な問題解決から、自信を持った監視へと業務を転換させる力を持っている。