【ITニュース解説】Day 28: Human-in-the-Loop Architecture — Machine Second, Human First in Practice

システムエンジニアを目指す皆さんへ。現代のITシステム開発では、作業の効率化と自動化が重要なテーマだが、同時に安全性の確保も極めて大切である。特に、影響の大きな操作を伴うシステムにおいては、ただ自動化を進めるだけでは思わぬ事故につながる可能性がある。そこで注目されるのが、「Human-in-the-Loop（HITL）アーキテクチャ」という考え方だ。これは、機械の高速処理能力と人間の正確な判断力を組み合わせ、最も重要な場面で人間の介入を必須とするシステム設計手法を指す。「Human First, Machine Second（人間が第一、機械は第二）」という原則に基づき、効率と安全性のバランスを取ることを目指している。

具体的な例で考えてみよう。新人の同僚が資料を読んだり、情報を調べたり、報告書のドラフトを作成したりする作業は、誰かに許可を得ることなく、一日中行うことができる。しかし、もしそれが顧客に送金する作業や、データベースから重要なデータを削除する作業だったらどうだろうか。そのような「高リスク」な作業を行う前には、必ず経験豊富な先輩や上司の承認が必要となるはずだ。Human-in-the-Loopアーキテクチャは、この人間の承認プロセスを、自動化されたシステムの中に組み込むことを目的としている。

このアーキテクチャの第一歩は、「決定境界」を明確にすることだ。システムが行う可能性のある全てのアクションを、その影響度と可逆性に基づいて二つのクラスに分類し、自動的な判断のゲートを設ける。

一つ目は「可逆的で低インパクトなアクション」である。これらは、もし誤って実行されたとしても、その影響が小さく、容易に元の状態に戻せるものだ。例えば、システムドキュメントを読み込む、サーバーのログをまとめて要約する、読み取り専用のメトリクス（性能指標）を照会する、あるいは問題解決のための計画案を作成する、といった操作がこれに該当する。これらのアクションは、システムが完全に自律的に実行しても問題ないとされる。

二つ目は「不可逆的または高インパクトなアクション」である。これらは、一度実行されると元に戻すのが難しかったり、システム全体やビジネスに深刻な影響を与えたりする可能性がある操作を指す。具体的には、データベースのテーブルを削除する、ネットワーク機器のVLAN（仮想ローカルエリアネットワーク）設定を変更する、本番環境に新しいソフトウェアをデプロイする、あるいは経費の支払いを承認するといった作業がこれに当たる。これらのアクションは、人間の承認がなければ実行されないように「ゲート」が設けられる。

この分類は、システムのコードとポリシーの中で明確に定義され、許可されたアクションのリスト（許可リスト）として管理される。重要なのは、このリスク分類を、自動化されたAIモデル自身に判断させないことだ。もしAIが混乱したり、悪意ある操作を受けたりした場合、自身のアクションが危険かどうかを誤って判断する可能性があるため、この判断は人間が事前に定めたルールに基づいて行う必要がある。

高インパクトなアクションを人間が承認するための仕組みは、以下の四つのステップで設計される。

まず「中断（Interrupt）」のフェーズだ。システムが実行しようとしているアクションが高インパクトなものだと判断された場合、自動化された処理は一時的に停止する。この時、システムは現在の状態や次に実行しようとしていたアクションの詳細を、耐久性のあるストレージに安全に保存する。この状態は「承認待ち（WAITING_FOR_APPROVAL）」として記録される。

次に「コンテキスト付きの通知（Notify with context）」が行われる。システムは、承認が必要なアクションが発生したことを、関連する担当者（承認者）に通知する。この通知は、SlackやTeamsのようなチャットツール、あるいは専用のポータルを通じて行われることが多い。通知には、システムが実行しようとしていた具体的なコマンド、そのアクションをシステムが提案した理由、そしてそのアクションが成功した場合に期待される結果など、人間が判断するために必要な全ての情報が含まれる。

三つ目は「承認（Authorise）」だ。通知を受け取った人間は、提供された情報を基に、そのアクションを実行すべきかどうかを判断し、承認または拒否の決定を下す。この際、承認者の身元が正しく確認され（認証）、その決定が偽造されないように電子的な署名（認証・署名）が行われる。これにより、誰が、いつ、どのような決定を下したのかが明確に記録され、セキュリティが確保される。

最後に「再開または修正（Resume or revise）」のフェーズだ。もし人間の承認が得られた場合、システムは以前保存していた状態を復元し、高インパクトなアクションの実行を再開する。一方で、もしアクションが拒否された場合、人間が拒否の理由や代替案に関するメモをシステムに提供する。このフィードバックは、自動化されたシステムのエージェントにとって新たな情報となり、それを参考にしながら、より安全な代替案を検討し、再度提案する。これにより、人間は本当に重要な、リスクを伴うアクションのみをレビューし、機械はそれ以外の大部分の作業を行うという役割分担が実現され、全体の生産性を維持しつつ安全性を高めることができる。

この仕組みをシステムに組み込む際の基本的な考え方を見てみよう。プログラムは、まず実行しようとするアクションが「高インパクト」なものかどうかを判断する。これは、事前に定義された高インパクトなアクションのリストと照合することで行われる。もし高インパクトでなければ、そのままアクションを実行する。しかし、高インパクトであれば、現在の状態を保存し、承認者に通知を送って一時停止する。

人間が承認または拒否する際には、その決定に電子署名を行うことで、決定の正当性を保証する。システムは、この署名を検証し、改ざんされていないことを確認した上で、承認であれば保存されたアクションを実行し、拒否であれば人間のフィードバックを次の計画立案に活用する。このように、機械の自律的な処理と人間の厳密な監視をバランスよく組み合わせることで、組織は安全を保ちながら、自動化による生産性向上のほとんどを享受することができる。なぜなら、人間は実際にリスクを伴うごく一部のアクションだけをレビューすればよいからだ。

このHuman-in-the-Loopアーキテクチャは、特に企業のITシステムにおいて、自動化とガバナンス（統治・管理）を両立させる上で不可欠な要素である。次世代のシステムエンジニアとして、このような設計思想を理解し、安全で効率的なシステム構築に貢献できる知識とスキルを身につけることが重要だ。