【ITニュース解説】The Phoenix of Neural Networks: Training Sparse Networks from Scratch

AI、特にディープラーニングと呼ばれる技術は、私たちの生活の様々な場面で活用され、目覚ましい進歩を遂げている。しかし、現在のAIシステムは、まだ多くの課題を抱えている。その一つが、ニューラルネットワークの「密（Dense）」な構造にある。密なネットワークとは、ニューロン間の接続が非常に多く、何百万、何十億という膨大な数の「重み」と呼ばれるパラメータを持つネットワークのことだ。これら密なネットワークは、多くのタスクで高い性能を発揮する一方で、莫大な計算資源、大量のメモリ、そして遅い推論速度という大きな代償を伴う。これは、AIモデルを開発・運用する上で無視できない問題となっている。

そこで注目されているのが、「スパース（Sparse）」なネットワークという考え方だ。スパースなネットワークは、密なネットワークとは対照的に、ニューロン間の接続を大幅に削減した、つまり「まばら」な接続を持つネットワークを指す。この「スパース革命」の目標は、ごく一部の接続だけで、密なネットワークと同等、あるいはそれ以上の性能を達成することにある。そして、その究極の目標は、最初に密なネットワークを訓練する高コストなプロセスを経ずに、最初からスパースなネットワークとして訓練する方法を確立することだ。

効率的なスパースネットワークを実現するためには、「プルーニング（枝刈り）」と「成長（新しい接続の追加）」という二つの主要な技術が用いられる。プルーニングは、不要な接続を取り除くことでネットワークを軽量化する手法であり、成長は、パフォーマンス向上に役立つ可能性のある新しい接続を導入する手法である。これらの手法は「アンストラクチャード（非構造化）」と呼ばれ、特定の構造に縛られずに個々の接続を柔軟に増減させる。これらの技術は、利用する情報の種類によって、大きく三つのタイプに分類できる。一つ目は「0次（Zeroth-Order）」で、重みの値や単純な経験則にのみ基づき、勾配情報（損失の変化率）を使用しない。二つ目は「1次（First-Order）」で、勾配情報を取り入れ、より動的で賢明な判断を行う。三つ目は「2次（Second-Order）」で、ヘッセ行列（損失関数の2次導関数）のような高度な情報を用いて、より精密な決定を下すが、計算コストは最も高くなる。

まずは、不要な接続を取り除く「プルーニング」の手法を見ていこう。アンストラクチャード・プルーニングは、ネットワークの構造に制約を課さずに個々の重みを削除する。これにより高いスパース性を達成できるが、メモリへのアクセスが不規則になるため、専用ハードウェアでの高速化が難しくなる場合もある。

0次プルーニング手法は、勾配情報を必要としないため、計算量が非常に少なく、すでに訓練済みの密なネットワークを圧縮するのに適している。最も広く使われているのが「Magnitude Pruning（重み強度プルーニング）」だ。これは、訓練済みの密なネットワークで、絶対値が最も小さい重みを削除するという単純な方法だ。直感的には、値がゼロに近い重みはネットワークの出力への寄与が小さいと考えられている。この手法を繰り返し適用する「Iterative Magnitude Pruning (IMP)」では、訓練、プルーニング、残った重みのリセットを繰り返すことで、高い圧縮率と精度維持を両立できることが示されている。具体的には、まず密なネットワークを十分に訓練し、次に絶対値が小さい重みを一定の割合で削除する。そして、残ったスパースなネットワークを再訓練し、精度を回復させる。IMPの場合は、残った重みを初期値にリセットしてから再訓練を繰り返す。この方法の利点は実装が非常に簡単なこと、欠点は高いスパース性（90%以上）では重要な重みも削除してしまう可能性があることや、訓練中の動的な変化を考慮しないため、転移学習には不向きな場合があることだ。

次に、1次プルーニング手法は、損失の勾配（1次導関数）を利用して重みの重要度を評価する。これにより、データに基づいたより賢明なプルーニングが可能になり、訓練中に適応できる。代表的なものに「Gradient-Based Pruning（勾配ベースプルーニング）」がある。例えば、SNIP（Single-shot Network Pruning）は、訓練開始前に一度だけ少量のデータで勾配を計算し、損失への影響が最小限の重みを削除する。この方法では、より高いスパース性（95%以上）でも良好な性能を発揮し、データの考慮により汎化性能（未知のデータへの対応能力）も向上する。欠点は勾配計算が必要となることだが、これは通常の訓練プロセスで再利用できる場合が多い。その他にも、訓練中の重みの動きに基づいてプルーニングを行う「Movement Pruning」や、複数のエポックにわたる重みの変動を追跡する「Momentum-Based Pruning」などがある。

最後に、2次プルーニング手法は、ヘッセ行列（損失関数の2次導関数）から得られる曲率情報を用いることで、損失の変化をより正確に推定し、冗長な重みを特定する。最も有名なのは「Hessian-Based Pruning」だ。これは、重みを削除した際に損失の増加が最も小さいものを特定し、削除する。利点は理論的な根拠がしっかりしており、真に冗長なパラメータをより正確に特定できる点だ。欠点は、ヘッセ行列の計算と逆行列計算が非常に高コストであり、大規模なネットワークへの適用が難しい点である。

プルーニングと並行して用いられるのが、新しい接続を導入する「成長」の手法だ。成長メソッドは、ネットワークが訓練中に自身の接続パターンを適応させ、最適なトポロジー（構造）を見つけ出すことを可能にする。

0次成長手法は、勾配情報を利用せず、単純な経験則やランダム性に基づいて接続を追加する。最も簡単なのは「Random Growth（ランダム成長）」で、すでに削除された位置の中からランダムに選び、新しい重みを追加する。これはプルーニングと組み合わせることで、ネットワークのスパース性を一定に保ちながら、接続を動的に変化させる。利点は極めてシンプルなことだが、ターゲットを絞らないため、無関係な接続を追加してしまう可能性があり、高いスパース性では性能が低下しやすい。

1次成長手法は、勾配情報を用いて、新しい接続を導入することで損失が最も大きく減少する可能性のある位置を特定する。例えば、「Gradient-Based Growth（勾配ベース成長）」では、訓練中に、現在ゼロであるか存在しない可能性のある接続についても勾配を計算する。そして、最も大きな勾配を持つ位置に新しい接続を追加する。これにより、損失を減少させる可能性が高い場所に的を絞って接続を追加できるため、スパース性を維持しながら優れた性能を発揮する。欠点は、マスクされた（存在しない）重みに対しても勾配を追跡する必要があるため、メモリがわずかに増加することだ。

2次成長手法は稀であるが、ヘッセ行列の情報を用いて、曲率から高いポテンシャルを持つ接続を追加する。利点は複雑なモデルに対して精密な接続追加が可能となることだが、欠点は高コストであり、比較的小規模なネットワークに限定されることだ。

ここまで、プルーニングと成長の個別手法について説明したが、スパースネットワークを最初から訓練する「動的スパース訓練」においては、これらの手法を組み合わせて、訓練中にネットワークの接続構造を動的に変化させる。スパースネットワークをスクラッチから訓練することにはいくつかの課題がある。例えば、ランダムに初期化されたスパースな接続では、勾配が効果的に伝播せず、「デッドニューロン」や「デッドパス」と呼ばれる、学習しない経路が生じることがある。また、固定されたスパースなマスクでは、ネットワークが最適な接続パターンを見つける探索が制限され、良くない局所最適解に陥る可能性がある。さらに、少ない接続数で学習を開始すると、初期のノイズの多い勾配からの学習が不安定になることがある。

これらの課題を解決するために考案されたのが、訓練中にニューロンや重みのプルーニングと再成長を繰り返す反復プロセスである。その代表的な方法の一つが「Sparse Momentum（スパース運動量）」だ。これは、アクティブな重みだけでなく、現在アクティブでない（プルーニングされている）可能性のある全ての重みについても、その勾配の運動量を維持・更新する。ネットワークが新しい接続を「成長」させる際、この蓄積された運動量が最も大きい場所を優先的に選ぶ。これにより、たとえ最初は活動していなかった接続であっても、継続的に強い勾配信号を示している接続が選択されやすくなる。さらに、新しくアクティブになった接続は、ランダムに初期化されるのではなく、その蓄積された運動量に基づいて初期値が与えられることが多い。これは、新しい接続に「ヘッドスタート」を与え、より情報に基づいた初期方向を提示することで、「デッド」な接続になることを防ぎ、安定した効果的な学習を可能にする。

Sparse Momentumのような手法は、無駄な重みを削除することでデッドニューロンやデッドパスの問題を解決し、非アクティブな重みに対する運動量を蓄積することで、スパースなランドスケープを賢く探索し、本当に有望なパスウェイを見つけ出す。また、情報に基づいた運動量で新しい接続を初期化することで、新たに成長した接続をブートストラップし、スクラッチからの安定した効果的な学習を促す。

しかし、これらの勾配ベースの動的スパース訓練アルゴリズムには、存在しない全ての接続に対しても密な勾配計算が必要となるため、計算コストが高いという問題がある。そこで、「A Brain-inspired Algorithm for Training Highly Sparse Neural Networks」という論文では、CTRE (Cosine similarity-based and Random Topology Exploration) という新しい手法が提案された。CTREは、密な勾配計算への依存をなくすために、局所的な層やニューロンの情報から接続の重要度を評価する。これは、まずMagnitude Pruningで絶対値が小さい重みを削除し、次に同じ数の新しい接続を成長フェーズで追加するというプロセスを繰り返す。この成長フェーズでは、「コサイン類似度」と「ランダム探索」を組み合わせたハイブリッド戦略を用いる。コサイン類似度は、連続する層間のニューロンの活性化の相関を測ることで、存在しない接続の重要度を導き出す。これは脳のシナプス形成を模倣している。コサイン類似度を用いることで、特徴量の大きさに関係なく相関を評価するため、ノイズに強く、特定の高活性化ニューロンに成長ポリシーが偏ることを防ぐ。これに加えて、ランダム探索を導入することで、アルゴリズムが早期に安定しすぎることを防ぎ、新しい接続の発見を促す。CTREは、固定されたマスクを持たず、訓練中にトポロジーを動的に適応させることで、スクラッチからのスパース訓練を可能にする。

スパースネットワークの未来には、計算・メモリの節約、ノイズや過学習に対するロバスト性といった明白な利点だけでなく、さらに深遠な可能性が秘められている。

一つは、「より良い表現学習」だ。現在議論されている手法は、主に接続（重み）のスパース性に焦点を当てているが、これをニューロンの活性化のスパース性と組み合わせることで、より頑健で「よく因数分解された（well-factored）」潜在表現を獲得できる可能性がある。これは、生物の脳におけるスパースなニューロン表現に近く、現在のAIで一般的に使われる密な潜在表現が持つ「絡まり（entanglement）」や「断片化（fractured）」といった問題を解決し得る。

二つ目は、「より良い継続学習」だ。頑健でよく因数分解された潜在表現は、単に特定のタスクのためだけでなく、さらに重要なことに、ノイズの多い入力データストリームから継続的に学習し、古い重要な知識を忘れずに、新しい知識をますます効率的に獲得していく能力の基盤となる。これは、人間や動物が知識の階層を段階的に積み上げていく方法に似ている。

三つ目は、「より良い学習アルゴリズム」の必要性だ。たとえスパースなネットワークで頑健でよく因数分解された潜在表現が実現できたとしても、現在の勾配降下法とバックプロパゲーションという学習アルゴリズムには根本的な課題が残る。このアルゴリズムは、現在の学習ステップで与えられたタスクを最適に解決しようと、可能な限り多くの接続を修正しようとする。この際、ネットワークがすでに学習した他のタスクにとっての接続の重要性は考慮されない。スパースな表現がこの問題を軽減することはできるが、異なる入力やタスク間で重みが共有されている限り、この問題は完全に解消されないだろう。将来的には、脳にヒントを得た局所的な学習ルールと、グローバルなドーパミン的な報酬信号を組み合わせた、より優れた学習アルゴリズムが必要になると考えられている。このような進化が、真の「Agile Machine Intelligence（アジャイル機械知能）」の実現につながるかもしれない。

このように、スパースネットワークの研究は、単なる効率化を超え、AIの根本的な学習能力と構造、さらには生物の知能のメカニズム解明に繋がる可能性を秘めている。これからの進展が非常に期待される分野だ。