【ITニュース解説】Machine Learning Security Training for Government Agencies

政府機関が機械学習をサイバーセキュリティ対策に活用しようとするとき、そのトレーニング内容には特別な配慮が必要となる。表面上は高精度に見える機械学習モデルでも、実際の運用現場では大きな問題を引き起こす可能性があるからだ。

例えば、99.9%という高い「正確さ」を持つ異常検知モデルがあったとする。一見すると素晴らしい数字だが、日夜膨大な数のイベント（ログイン、プロセス実行、ネットワーク通信など）を監視している政府機関のシステムでは、このわずか0.1%の「誤り」が致命的な問題となる。仮に1日2000万件のイベントが発生する中規模な政府機関の場合、0.1%の誤検知率でも、計算上は1日あたり2万件もの偽のアラート（誤検知）が発生することになる。すでにチームが処理しきれないほどのアラートがある中で、さらに2万件もの誤った警告が追加されたら、セキュリティ運用は完全に麻痺してしまうだろう。これはモデルが壊れているわけではなく、モデルの評価方法が現実の運用状況に合っていなかった、あるいはその問題に気づける人材が不足していたために起こる典型的な失敗だ。

この問題を解決するためには、政府機関が実際に保持しているデータに基づいた、実践的な機械学習セキュリティトレーニングが不可欠となる。一般的な機械学習の入門コースで使われるような汎用的なデータセットや、民間企業向けに設計されたセキュリティコースで使われるデータは、政府機関の環境と一致しないことが多い。政府機関はWindowsのセキュリティイベントログ（ログイン成功/失敗）、Sysmonのプロセス生成やネットワーク接続ログ、Zeekのネットワーク通信ログやDNSログ、エンドポイント検出応答（EDR）のプロセス情報、そして資産やIDに関するインベントリ情報など、特定の種類のデータを保持している。これらの実際のデータ形式や内容に合わせてトレーニングを行うことで、受講者は実践で役立つスキルを習得できる。

特に、資産の重要度やアカウントの種類といった情報は、単なる異常スコアを、実際の脅威に対する優先順位付け（トリアージ）の判断に結びつける上で非常に重要だ。例えば、同じ異常なログインでも、一般ユーザーアカウントからのものと、重要なシステム管理者アカウントからのものでは、対応の優先度が大きく異なる。

実践的なトレーニングで学ぶべきことは、地道な作業が多い。 一つは、異なるシステムから得られたログデータを、時間やユーザーIDなどの共通のキーで正確に結合する作業だ。例えば、Windowsのアカウント名、Kerberosのユーザー情報、EDRシステムのホストIDなど、異なる形式で記録された情報を関連付けるには、多くの時間と労力を要する。 次に、IPアドレス、プロセスパス、ユーザーエージェントなど、数値ではないが非常に多くの種類がある（高カーディナリティのカテゴリ変数）データを、機械学習モデルが扱えるように変換（エンコーディング）する方法を学ぶ。単純に一つずつを個別の列に変換する「one-hotエンコーディング」では、列数が膨大になりすぎてしまうため、ターゲットエンコーディングや頻度エンコーディングといった、より高度な手法が必要となる。 そして最も重要なのが、セキュリティ上の意味を持つ「特徴量」を構築することだ。例えば、「特定のアカウントが過去30日間の平均と比較して異常な頻度でログインしているか」「通常とは異なる時間帯に活動しているか」「普段接続しないような多数の異なる宛先に接続しているか」「異常な親子関係を持つプロセスが起動していないか」といった具体的なパターンを検出できるような情報を作り出す。実は、どのようなアルゴリズムを選ぶかよりも、どのような特徴量を作るかの方が、検出の成功にはるかに大きな影響を与える。 さらに、検出された異常をMITRE ATT&CKのような標準化されたサイバー攻撃フレームワーク（例：T1078「有効なアカウント」の悪用）と紐づけて解説することで、セキュリティチーム全体が脅威の種類を共通認識として持ち、効果的な対応が可能になる。

トレーニングにおいて、アルゴリズムの学習に多くの時間を割き、モデルの評価に費やす時間が少ないカリキュラムは、セキュリティ分野では不適切だ。セキュリティイベントにおいては、実際の悪意のある活動は非常にまれ（100万件に1件程度）であるため、単なる「精度」や「ROC曲線下面積（AUC）」といった指標は意味をなさないことが多い。なぜなら、これらは正常なデータが圧倒的に多い状況では、少しでも異常を検出すると「誤り」と評価されやすいためだ。

本当に重要なのは、「アナリストが1シフトで処理できるアラートの上限数」（アラート予算）という運用上の制約を踏まえた上で、どの程度の「適合率」（Precision、検出されたアラートのうち実際に正しいものの割合）を達成できるか、そして「適合率-再現率曲線」でモデルの性能を評価することである。トレーニングでは、まずアナリストの処理能力を固定の制約として設定し、その制約内で最高のパフォーマンスを発揮するようなしきい値（異常と判断する基準）を調整する方法を学ぶ。これにより、技術的には高精度でも、運用上は機能しない「使い物にならないモデル」の導入を防ぐことができる。

また、デプロイされた機械学習モデルは、攻撃者にとって新たな標的となるため、そのモデルがどのように回避される可能性があるのかも学ぶ必要がある。NIST AI 100-2やMITRE ATLASといった標準化されたフレームワークを活用し、モデルの回避（Model Evasion）といった「敵対的機械学習」の概念を理解することは、防御を強化する上で不可欠だ。

政府機関向けのトレーニングを提供する上では、カリキュラム内容だけでなく、実際の実施における制約も考慮しなければならない。政府支給のPCでは管理者権限や仮想化機能が制限されていることが多く、インターネット経由でソフトウェアライブラリ（pypi.orgなど）やモデルAPIにアクセスできない場合も珍しくない。また、機密情報を扱う職員は、一般向けの公開コースに参加できないこともある。 これらの制約を乗り越えるためには、ネットワークに依存しないラボ環境が有効な解決策となる。具体的には、Python環境、必要なライブラリ、データセット、学習済みモデルの重みといった全てを事前に組み込んだ仮想イメージ（ゲストイメージ）を準備し、完全にオフラインで学習を進められるようにする。このオフライン環境は、事前にすべての必要なファイルを準備しておく必要があり、一度環境が構築されてしまえば、ネットワーク接続なしで実践的な演習が可能となる。トレーニングベンダーを選定する際には、このようなオフライン環境でのトレーニング実績があるかどうかを確認することが重要だ。

ただし、機械学習トレーニングは万能ではない。もし政府機関のデータ基盤が整備されておらず、ログデータが様々なシステムに分散していたり、保持期間が短すぎたり、異なるデータ間で共通のID情報が不足していたりする場合、トレーニングで高度な技術を学んでも、実際の業務でそれを適用することは難しい。機械学習を導入する前に、まずはデータ収集・管理のパイプラインを整備し、データエンジニアリングの基礎を確立することが前提条件となる。 また、トレーニングを受けたからといって、すぐに運用許可（Authority to Operate）が得られたり、専門の検出エンジニアリングチームが自動的に編成されたりするわけではない。トレーニングは、あくまでモデルの構築、評価、防御ができる人材を育成するものであり、それを実際の運用可能なシステムとしてデプロイするには、別のプロジェクトや継続的な努力が必要となる。 さらに、受講者のPythonプログラミングスキルが不十分な場合、構文の理解に手間取り、肝心な機械学習や特徴量エンジニアリングの概念を習得できない可能性があるため、トレーニング受講前に基本的なPythonスキルを身につけておくか、段階的に学習を進める必要がある。

この種のトレーニングは、政府機関がサイバーセキュリティを強化し、今後増加するAIシステムの防御能力を高める上で非常に重要な役割を果たす。そして、防御だけでなく、AIシステムの脆弱性を事前に発見するための「AIレッドチーム演習」といった攻撃側の視点も、別のトレーニングで学ぶことで、より堅牢なシステム構築に繋がる。