【ITニュース解説】On‑policy distillation works with limited additional data

AI技術の発展は目覚ましく、高性能なAIモデルを小型化し、ロボットなどのデバイス上で効率的に動作させる「知識蒸留」技術の重要性が増している。今回のニュースは、この知識蒸留を「On-policy distillation（オンポリシー蒸留）」というアプローチで劇的に効率化する「AutoDAgger（オートダガー）」という新しい手法を紹介している。これは、限られた追加データで、より効率的に教師モデルの知識を学生モデルに転送する技術である。

従来の知識転移手法にはいくつかの課題があった。例えば、人間が手本となる行動を示す「行動クローニング」や、あらかじめ収集されたデータから学ぶ「オフライン蒸留」は、静的なデータに基づく学習のため、動的な環境変化への対応が難しいという弱点があった。さらに、学生モデルが誤った行動を取った際に人間の専門家が介入して修正する「ヒューマン・イン・ザ・ループ（Human-in-the-Loop）」手法が存在した。この手法は、DAgger（Dataset Aggregation）と呼ばれる技術の派生形などで用いられたが、学習プロセスを人間が常に監視し、必要なときに介入することは、膨大な時間と労力、そしてデータ収集コストを要した。この人間の介入が、高性能なAIモデルを小型化し、エッジデバイスへ展開する際のスケーリングにおける大きなボトルネックとなっていたのだ。

AutoDAggerは、この人間の介入という課題を完全に排除し、プロセスを「自律化」することに成功した。その核心は、「自律的な報酬モデル」という別のAIシステムにある。この報酬モデルは、学生モデルがタスクの進行状況を常に監視し、学生モデルが失敗しそうになったり、実際に失敗したと判断した場合に、自動的に高性能な教師モデルの介入をトリガーする。この自動化された介入により、教師モデルは一時的に制御を引き継ぎ、正しい行動をデモンストレーションする。

この仕組みは、以前は人間が手動で行っていた引き継ぎプロセスを、AI自身が迅速に行う「セルフサービスパイプライン」へと変革する。結果として、教師モデルが正しい行動を教えるための「回復データ」の収集速度は、従来のヒューマン・イン・ザ・ループ手法と比較して2倍以上も高速になった。人間の監視が不要になることで、データ収集にかかる時間とコストが劇的に削減される。

AutoDAggerが採用する「On-policy distillation」とは、学生モデルが実際に環境とリアルタイムで相互作用しながら（on-policy）、教師モデルから直接指導を受け、効率的に正しい行動パターンを学習していく方法を指す。従来のオフライン手法が過去の静的なデータから学ぶのに対し、on-policy distillationは「今、環境で何が起きているか」を直接フィードバックとして受け取りながら学習するため、より動的で実用的なスキルを効率的に習得できる利点がある。教師モデルがその場で正しい軌道を示すことで、学生モデルは試行錯誤することなく、効率的に正しい行動パターンを学べるのだ。

AutoDAggerの効率性は、実験結果からも明確に示されている。わずか30エピソードの学習で、学生モデルの性能スコアは基準値の27.8から63.9へと大幅に向上した。さらに90エピソード後には77.8に達し、ごく少量の「on-policy回復ロールアウト」（教師による介入と学生の学習の繰り返し）だけで劇的な性能改善が得られることを証明している。これは、大規模なオフラインデータセットで達成されていた性能レベルを、はるかに少ないデータで実現できる可能性を示唆している。

この技術を具体化した「TILDE（Teacher-in-the-Loop Distillation from Embodied Foundation Models）」は、「Pick Pen」のようなロボット操作タスクで80.6という高いスコアを達成し、他の評価されたベースラインモデルを全て上回った。また、「Fold Dishcloth」や「Pick Beverage」といった他のタスクでも高いスコアを記録している。これらのスコアは、もともと高性能な「エンボディド基盤モデル」（身体を持つAI、つまりロボットなどの実体を持つAIの基盤となるモデル）が達成していた性能範囲とほぼ同等である。このことは、On-policy蒸留が、網羅的な事前学習なしで教師モデルに近い高い能力を学生モデルに効率的に転送できることを証明したと言える。

しかし、この研究にはまだいくつかの課題も残されている。現在、評価されたタスクは主に3つの特定の操作タスクに限定されており、これらのタスクでは「信頼できる報酬モデル」が失敗を正確に通知できるという前提がある。より複雑なタスクや、教師の介入が稀な状況、報酬信号がノイズを含む環境でAutoDAggerがどの程度の速度向上と性能維持を見せるかは、今後の研究で明らかにする必要がある。特に、教師モデルの介入が稀になる状況や、報酬信号が不安定な状況での「堅牢性」が今後の研究課題となる。

もしAutoDAggerが、現在主流となっているヒューマン・イン・ザ・ループを伴うデータ収集プロセスを本当に置き換えられるならば、その影響は計り知れない。現在、何万もの軌跡（AIの動作データ）を収集している既存のベンチマークテストのパイプラインは、AutoDAggerを用いることで、はるかに少ないデータコストで同等のスコアを達成できる可能性がある。この技術的転換は、「ポリシー蒸留」（AIの行動方針の知識転移）を、ロボティクス分野における広範なアプリケーション、特にロボットなどの「オンデバイス（機器上）での展開」において、より現実的で実用的なものにする大きな一歩となるだろう。AIの小型化と効率的な知識転移は、私たちの未来の社会において、より多くのデバイスが賢く、自律的に機能するための基盤を築くことになる。