【ITニュース解説】My AI Agent Never Touches the Database
2026年10月21日に「Dev.to」が公開したITニュース「My AI Agent Never Touches the Database」について初心者にもわかりやすく解説しています。
ITニュース概要
AIエージェントが直接データベースにアクセスせず、限定されたデータアクセス層を介して機能する設計。ユーザー認証はセッションから行い、DB項目にタグ付けし機密情報をAIに渡さない。これにより情報漏洩リスクを低減し、安全なAIシステムを構築する。
ITニュース解説
AIエージェントがデータベースと直接やり取りするシステムは、一般的なデモではよく見かける仕組みだ。ユーザーが質問すると、AIが自動でデータベースに問い合わせるためのクエリ(命令文)を生成し、実行する。しかし、この仕組みを実際のサービスに導入するとなると、重大なセキュリティ上の問題が発生する可能性がある。なぜなら、もしAIの判断が間違ったり、悪意のある命令を受けたりした場合、AIが直接データベースから他人の個人情報などの機密データを引き出してしまう危険があるからだ。AIの判断だけが、ユーザーと機密データの間に立つ唯一の壁になってしまうわけだ。
この記事では、生命保険の営業担当者向けのプラットフォーム「The Arsenal」にAIエージェントを組み込む際のセキュリティ対策について説明している。筆者は、大規模言語モデル(LLM)を使ったアプリケーションにおけるセキュリティリスクをまとめた「OWASP Top 10 for LLM applications」というリストを参考にし、特に「機密情報の漏洩」という項目に焦点を当てて設計を進めたという。
このAIエージェントの設計で最も重要な点は、AIモデルがデータベースに直接触れないことだ。AIモデルは、データへのアクセスを専門に扱う「データアクセス層」と呼ばれるシステムの一部を通じて、あらかじめ定義された、限定的な機能のみを呼び出す。例えば、「今週の営業成績を教えてほしい」という質問があった場合、AIは「私のパイプライン統計を今週分取得する」といった特定の処理を実行するだけだ。汎用的なデータベースクエリをAIが生成したり、直接データベースを操作するSQLコマンドを叩いたりする機能は一切与えられていない。もし、ある質問に答えるための特定の機能がシステムに用意されていなければ、AIエージェントはその質問に答えることができない。この制限が、セキュリティを確保するための要点となる。すべてのセキュリティに関する問題は、「データアクセス層」がどのような情報だけを外部に通すのか、という一点に集約される。
ユーザーの本人確認についても、AIモデル自身が行うことはない。AIモデルが要求するのは、あくまで「どのような情報が欲しいか」という、例えば顧客IDのようなデータの識別子だけだ。「誰が」その情報を要求しているのか、というユーザーの身元情報は、ユーザーがシステムにログインしたときに確立される「認証セッション」から取得される。データアクセス層は、この認証セッションから得られたユーザーの身元情報を基に、そのユーザーがアクセスを許可されているデータだけをフィルターして提供する。もしAIモデルが「ユーザーはアレックス」といったように本人情報を自由に指定できてしまうと、悪意のある指示によってAIが誰にでもなりすませてしまう可能性があるため、AIモデルにユーザー情報を渡す機能は持たせない方針だ。
さらに、データがAIモデルに渡される前から、どのデータがどの程度の機密情報であるかを厳密に管理している。例えば、営業成績に関する質問に顧客の電話番号や生年月日は不要であり、AIモデルがこれらの情報を受け取る必要はない。AIモデルがそもそも見ていないデータは、漏洩する心配がないからだ。この対策として、データベース内のすべての項目(カラム)には、「公開データ」「運用データ」「顧客の個人識別情報(PII)」といったセキュリティレベルを示すタグが付けられている。そして、データアクセス層が提供する各機能は、どのレベルまでのデータを扱えるかを宣言する。もし、より機密性の高いデータが要求された場合、データアクセス層はそれを拒否する。特に重要なのは、新しい項目がデータベースに追加され、タグの付け忘れがあった場合でも、その項目は自動的に最も機密性の高い「PII」として扱われ、決して外部には返されない仕組みになっていることだ。これにより、タグの付け忘れが情報漏洩につながるのではなく、単に情報が表示されないという結果になることで、安全が確保される(「フェイルクローズ」の原則)。
AIエージェントがユーザーに対して「この情報は表示できません」と丁寧に伝えるのは、あくまでユーザー体験を良くするためであり、セキュリティ対策ではないと筆者は強調している。AIモデルが情報を拒否する動作は、開発者がそう指示した結果に過ぎない。もし悪意のある指示(プロンプトインジェクション)によってAIがその拒否をやめたとしても、データアクセス層が該当する情報を返さないという「確実な保証」があるため、セキュリティ上の問題は発生しない。AIの「拒否」はユーザーに配慮した振る舞いであり、セキュリティ上の制御ではないと明確に区別している。
情報漏洩は、直接的なデータアクセスだけでなく、思わぬ場所からも発生する可能性がある。例えば、システムのエラーメッセージには、本来ユーザーに見せるべきではない内部情報が含まれている場合がある。これを防ぐため、ユーザーには一般的なエラーメッセージのみを表示し、詳細なエラー情報は「リクエストID」と共にサーバーのログに記録するようにしている。また、「マリア・ロペスの記録は表示できません」というメッセージは、マリア・ロペスという人物が顧客である可能性を示唆してしまう。このような「存在の漏洩」を防ぐため、存在しないデータを検索した場合と、アクセス権限のないデータを検索した場合とで、同じ「見つかりませんでした」といった一般的なエラーを返すことで、特定個人の存在を推測させないようにしている。さらに、AIとの会話履歴やログも顧客データを含むため、これらの情報に対しても厳格なアクセス制御を適用し、会話履歴は30日で自動的に削除されるようにしている。
ただし、この設計ですべての問題が解決するわけではないことも認識している。データアクセス層が想定通りに正しく機能しているという前提は、実際にテストされるまではあくまで仮定に過ぎない。そのため、システム監査の段階では、下位の権限を持つユーザーとしてログインし、AIモデルを通じて他の営業担当者のデータを引き出そうと試みるなど、徹底的なテストが不可欠だ。また、このAIエージェントにデータを「書き込む」機能が追加される次のバージョンがリリースされる際には、今回検討されたすべてのセキュリティ問題が改めて検討の対象となる。そして、利用しているAIモデルの提供元がどのようなデータ保持ポリシーや学習規約を持っているかという問題は、システムのコードを変更して解決できるものではなく、サービス利用契約の内容を慎重にレビューすることで確認すべき、別の種類の課題である。
筆者は、このようなアプローチで「OWASP Top 10 for LLM applications」の他の項目についても一つずつセキュリティ対策を進めていく予定だ。その目標は、生命保険業界に限らず、あらゆるAIエージェントにおいて高いセキュリティを確保できるような設計を追求することにある。