【ITニュース解説】The AI approval boundary nobody talks about until the audit finds it

近年、人工知能（AI）が私たちの仕事の様々な場面で活用されるようになってきた。特に企業内システムでは、AIが過去のデータに基づいて推奨事項を提示したり、特定のタスクを自動で処理したりする場面が増えている。しかし、AIがどこまで「承認」という責任を伴う行為を行ってよいのか、その境界線は実はまだ曖昧な部分が多い。この問題は、AIをシステムに組み込むシステムエンジニアにとっても、非常に重要な考慮事項となる。

ある医療機器メーカーの事例を考えてみよう。彼らは電子品質管理システム（eQMS）という、製品の品質を管理するためのシステムを導入していた。このシステムにはAI機能が搭載されており、ある時、AIが「是正処置・予防処置（CAPA）」という品質問題への対応プロセスの「終了」を自動で承認したことがあった。CAPAとは、製品の不具合や問題が発生した際に、その原因を究明し、再発防止策や未然防止策を講じる一連の活動のことだ。このAIによる承認は、内容自体は正しかったが、筆者は「誰がAIにこのような重要な承認を許可したのか」という公式な記録が見当たらなかったことに疑問を感じた。

この話は、AIが技術的に何ができるかという能力の問題ではない。どんなに高度なAIシステムでも、技術的には様々なタスクをこなせる。ここで問題になっているのは、企業としての「ガバナンスの境界線」、つまり「AIはここまで助言するが、ここからの決定には必ず人間が関与しなければならない」という明確な線引きが、書面で示されているかということだ。

なぜこのような明確な線引きが必要なのだろうか。医療機器業界では、ISO 13485（品質マネジメントシステムに関する国際規格）やEU MDR（欧州医療機器規則）、アメリカのFDA（食品医薬品局）のガイダンスなど、厳しい規制が設けられている。これらの規制は、「経営層の責任」や「人間による監督」、「意味のある人間による管理」を求めている。しかし、これらの文書はAIに「これは承認させてはならない」という具体的なタスクのチェックリストを直接与えているわけではない。そのため、各企業が自社のAI利用ポリシーとして、AIが承認してはならない事柄のリストを自分たちで作成する必要がある。

例えば、筆者の所属する会社では、医療機器の品質管理においてAI機能を主に助言的な目的で利用している。AIは苦情のテキストから不適合の可能性を指摘したり、関連するCAPAを提案したり、リスク評価の要約を作成したりする。しかし、CAPAの「終了」承認だけは、必ず指名された人間が行うことになっている。これは、社内の標準作業手順書（SOP）に明確に記載されている。他の電子品質管理システムを提供する企業も同様のアプローチをとっており、AIがCAPAの終了承認や、製品の安全性の報告義務、リスクの許容度判断、規制当局への申請といった重要な事項を承認することをシステム的にブロックすると明文化している。監査が入った際、「なぜAIがこれを承認できないのか」と問われた時に、「ここに線引きがあり、その理由もここに書かれている」と明確に示せる準備が重要となる。

AIによる承認の境界線には、いくつか種類がある。一つは「プラットフォーム強制の境界線」で、これはソフトウェア自体がAIによる特定のワークフロー状態の承認を物理的に防ぐものだ。これは最も堅牢で、監査でも強力な防御となる。次に「SOP強制の境界線」は、企業が自らルールを定め、SOPに記載するが、ソフトウェアはそれを直接強制しないものだ。SOPが適切で、従業員がそれに従っていれば問題ないが、人間の判断に依存するため、ルールの遵守が不十分だと問題が生じる可能性がある。最後に「暗黙の境界線」は、AIが現在その機能を持っていないため、そもそも承認能力がない状態だ。これは今は問題にならないかもしれないが、将来AIの能力が向上した際に、予期せぬ承認が行われるリスクがある。

実際に、AIによる自動承認が問題を引き起こしそうになった事例もある。ある小さな医療機器メーカーでは、AIが低リスクのCAPAを90日間活動がない場合に自動的に「終了」として処理していた。これは数ヶ月間問題なく機能していたが、ある時、本来なら正式な根本原因の調査が必要なCAPAが、人間によるレビューなしに「終了」とされてしまったことに気づいた。幸い大きな損害はなかったが、この会社は記録を修正し、ワークフローを更新するために数日を費やした。もし監査中にこの状態が発覚していたら、人間による承認なしにCAPAが終了したことになり、品質管理上の大きな不適合と判断される可能性があった。ISO 13485では、是正措置の適切性がレビューされていることを求めているため、AIが自動終了した場合に、人間がその適切性をどのように判断したかを証明できなければならない。

システムエンジニアを目指す皆さんにとって、この話はAIをシステムに組み込む際の重要な教訓となる。AIの機能を開発するだけでなく、そのAIがどのような権限を持ち、どこまで自動で意思決定や承認を行うべきかを、設計の初期段階から明確に定義し、文書化し、システムで確実に強制できるような仕組みを考える必要がある。

具体的には、

1. 利用するAIプラットフォームが、AIによる承認の境界線をどこまで文書化しているか、あるいはテストして確認する必要がある。
2. 自社でSOPによって境界線を定めた場合、そのルールがソフトウェアによって実際に強制されるのか、それとも単に人間が従うことを期待するだけなのかを検証することが重要だ。
3. そして、AIが特定の承認（例えばCAPAの終了）を行えない理由を、監査時に明確に説明できる書面があるかどうかを常に確認しておく必要がある。

欧州連合（EU）のAI法案やISO 42001（AI管理システム）のような新たな規制が導入されれば、この種の要件は今後さらに厳格になるだろう。しかし、規制が強制するまで待つのではなく、今から監査に耐えうる準備をしておくべきだ。

最終的な原則はシンプルである。AIは情報に基づいて推奨事項を提供することに優れている。しかし、最終的な「承認」という責任を伴う行為は、人間が行い、その記録を書面で残し、説明責任を負うべきだ。この境界線は、誰かが明確に線を引き、そしてそのシステムがその線を尊重して機能するという証拠があって初めて、有効なものとなる。AIを開発・導入する際には、技術的な側面だけでなく、このようなガバナンスと説明責任の側面を深く考慮することが、持続可能で信頼性の高いシステムを構築するために不可欠である。