【ITニュース解説】Half a day chasing AI-model traceability — how a CAPA from data provenance broke the loop and how we fixed it

AIモデル開発の現場では、技術的な課題だけでなく、品質管理やプロセス管理の重要性が増している。AIモデルが社会の様々な分野で利用されるようになるにつれて、その信頼性や安全性に対する要求は高まり、どのようなデータを使って、どのように学習させ、どのように変更されたのかという「トレーサビリティ」が非常に重要になる。今回解説するニュース記事は、AIモデルのトレーサビリティが不足していたために発生した具体的な問題と、その解決策について詳しく述べている。

ある日、AIモデルが実際のデバイス上で推論する動作と、検証用のテスト環境での動作にズレがあるという問題が発覚した。これを受けて、企業ではCAPA、つまり是正処置・予防処置のプロセスを開始した。CAPAとは、問題が発生した際に、その根本原因を特定し、問題が再発しないようにする「是正処置」と、将来同様の問題が発生するのを未然に防ぐ「予防処置」を計画・実行することである。最初は簡単なデータやモデルの修正で済むと思われたこのCAPAは、やがて予想外の大きな問題へと発展していった。

問題の根源は、デプロイされたAIモデルが「どの訓練データセットを使って学習されたのか」を特定できないことだった。モデルの訓練に使われたデータに関する明確な記録、いわゆる「マニフェスト」がなく、フォルダ名だけでは不十分だったのだ。さらに、モデルを訓練する際の前処理ステップ、例えばデータのエンコード方法やサンプリング方法が、実行ごとに密かに変更されていることも判明した。これにより、同じモデルに見えても、その背景にあるデータ処理が異なっていたため、動作に差が出てもおかしくない状況だった。また、モデルの実行ファイル（バイナリ）が共有の場所に安易に上書きされており、特定のモデルバージョンに対応する不変の記録、すなわち「モデルレジストリエントリ」がなかった。変更管理の記録も不十分で、単なるリリースチケット番号しか残されておらず、どのデータセットやコンテナイメージが使われたかといった具体的な情報が欠けていた。

このような状況は、データがどこから来て、どのように処理され、モデルがどのように生成されたかというデータの「プロベナンス（出所・来歴）」の欠如から始まり、それが文書化の不備、さらに変更管理プロセスの弱さ、そしてサプライヤーから提供されたコンポーネントの追跡困難さという、連鎖的な問題へと発展した。監査の専門家から見れば、これは「トレーサビリティギャップ」と呼ばれる重大な欠陥である。特に、EU AI Actのような法規制が施行され、高リスクのAIコンポーネントに対しては、モデルのバージョンがデータ、訓練パイプライン、検証証拠、承認記録と明確に紐付けられていることが厳しく求められるようになってきている。この会社には、その紐付けができていなかったのだ。

このような問題は、AIモデルがサプライヤーから提供されることが多い企業、例えば製造業の契約製造組織（CMO）のような環境では特に顕著である。複数のサプライヤーから提供されるデータやモデルを組み合わせて製品を作る場合、一般的な品質管理システム（eQMS）では、すべてのプロセスを自社でコントロールすることを前提としているため、サプライヤーからのデータやモデルの出所を追跡する仕組みが不足しがちである。具体的には、サプライヤーが提供する適合証明書（COA）から、それを使って作られたデータセット、そして最終的なモデルの成果物、さらにはCAPAや変更管理記録へと続く「生きた」追跡チェーンが必要とされるが、それが構築できていなかった。

この問題を解決するために、二つの主要な目標が設定された。一つは、すべての関連情報を明示的に紐付けること。もう一つは、それらの証拠を機械が読み取れる形式にし、自動化を支援することである。

具体的な変更点としては、まず「不変な成果物」をモデルの訓練時やデプロイ時に必ず記録するようになった。具体的には、モデルがビルドされるたびに、「モデルレジストリ」にそのモデルの名前、バージョン、モデルを格納したコンテナイメージの識別子（ダイジェスト）、モデルを生成したコードのGitコミットハッシュ、そして訓練ジョブのIDを必ず登録するようになった。また、訓練に使われたデータセットについても、「データセットマニフェスト」を作成し、含まれるファイルのチェックサム（データが改ざんされていないことを保証する値）、データを提供したサプライヤーのID、データを受領した日付、そして行われた前処理ステップを記録するようになった。

次に、これらの成果物と品質に関する記録を密接に連携させた。変更管理やCAPAのテンプレートには、モデルレジストリのIDとデータセットマニフェストのハッシュ（識別子）を必須項目として含めることになった。これにより、どのような変更がどのモデルとデータセットに影響を与えたかが一目でわかるようになる。さらに、モデルの検証レポートにも、テストに使われたモデルのIDと参照したデータセットマニフェストを記載することが義務付けられた。

サプライヤーから提供される証拠の記録も強化された。サプライヤーが提供する適合証明書やデータは、受け取り次第、サプライヤーID、ファイルダイジェスト、そして社内の取り込みチケット番号とともにデータベース（Postgres）に記録されるようになった。これにより、サプライヤーから受け取ったデータの出所が明確になり、後から追跡できるようになる。

さらに、業務手順書（SOP）と承認ルールも更新された。モデル変更の承認権限者や、どのような場合に人間の承認が必須となるかが明確にされ、自動的にモデル変更が完了するようなケースは排除された。また、CAPAのプロセスにリスク評価のステップが追加され、軽微なデータラベルの修正などは文書化で済ませるが、より大規模な前処理の変更などは必ず変更管理プロセスにエスカレートさせるようにルールが整備された。

これらの変更を継続的に維持するために、小さな自動化も導入された。Pythonスクリプトが新規のデータセットが追加されるたびに、そのハッシュ値を計算し、データセットマニフェストを作成し、モデルレジストリの情報をデータベースに登録する。また、Grafanaダッシュボードを導入し、モデルとデータセット、変更管理記録との間のリンク関係を可視化した。もしデプロイされたコンテナの識別子（ダイジェスト）に対応するデータセットマニフェストがない場合など、不整合があれば自動的にアラートが発せられるようになった。このような低コストで摩擦の少ない自動化が、トレーサビリティのチェーンを「生きた状態」で維持するのに役立っている。最大の成果は、モデルの変更を行う際に、必ず対応するデータセットマニフェストと変更管理記録を参照することを強制した点である。これが満たされない限り、モデルを本番環境に昇格させることができなくなった。

AIが支援するCAPAについても、この企業は慎重な姿勢を示している。CAPAの自動クローズ機能やブラックボックスなAIによる修正提案には懐疑的である一方で、管理されたAIの支援は有効だと考えている。例えば、AIは成果物の違いに基づいて、考えられる根本原因（ラベルのずれや前処理の不一致など）を提案することはできるが、最終的なCAPAの内容の承認と署名は必ずエンジニアが行うべきであるという原則を確立した。これは「AIが提案し、人間が承認する」というシンプルで防御可能な姿勢であり、AIの出力も不変な成果物（マニフェストのハッシュやコンテナのダイジェスト）と承認プロセスに紐付けられているため、技術的に監査が可能である。

この一連の取り組みによって、以前は半日もかけて手作業で追跡していたリンク付けの作業が、自動化された。既存のPython、Postgres、Grafanaのシステムを活用し、データ取り込み時にデータセットマニフェストとチェックサムを作成したり、CI（継続的インテグレーション）からのウェブフックでモデルレジストリエントリを作成したりする仕組みを構築した。また、Grafanaパネルは不整合を明確に表示し、モデルに関わるCAPAをクローズする前には必ず人間が確認する軽量なチェックリストを導入した。その結果、CAPAのクローズ時には、最低限の追跡可能な成果物が含まれるようになり、監査担当者には明確なチェーンが提示され、エンジニアはリンクを探すのではなく、本来の業務である問題修正に集中できるようになった。

この経験から得られた実践的な教訓はいくつかある。まず、AIモデルを単なるコードやデータではなく、「第一級の品質管理システム（QMS）の成果物」として扱うことの重要性である。具体的には、データセットマニフェスト、モデルレジストリエントリ、そして検証レポートは最低限必要な情報である。次に、変更管理やCAPAのテンプレートにおいて、これらの情報間のリンク付けを必須にすること。これにより、意図しない見落としを防ぐことができる。そして、AIが提案するとしても、最終的な承認のループには必ず人間を介在させること。最後に、チェックサムの計算やマニフェストの作成、ダッシュボードのアラートといった定型的で繰り返し発生する作業は自動化し、人間は根本原因の特定や複雑な問題解決といった、より価値の高い業務に集中できるようにすることである。AIモデルを開発・運用するシステムエンジニアを目指す上で、このような品質管理とトレーサビリティの概念は、今後ますます重要となるだろう。