【ITニュース解説】A Trick for Backpropagation of Linear Transformations

ニューラルネットワークがどのように学習を進めるのか、その根幹をなすのが「バックプロパゲーション」、日本語では「逆伝播」と呼ばれる計算手法だ。この手法は、ネットワークが出力した結果と正解との間にどれだけの「誤差」があるかを測定し、その誤差がネットワーク内部の各パラメータ（重みやバイアス）にどれだけ影響を与えたかを逆方向に伝えていくことで、パラメータを調整し、次の予測精度を高める。特に、ニューラルネットワークの基本的な構成要素である「線形変換」の逆伝播を正確に理解することは、ディープラーニングモデルを開発するシステムエンジニアにとって非常に重要となる。

線形変換は、ニューラルネットワークの各層で頻繁に使われる基本的な操作であり、入力データを行列とベクトルの乗算によって変換する。具体的には、「y = Wx + b」という形で表される。ここで、x は入力データ（ベクトル）、W は「重み」と呼ばれる行列、b は「バイアス」と呼ばれるベクトルであり、y は変換後の出力（ベクトル）である。重み W とバイアス b が、ニューラルネットワークが学習によって調整していくべきパラメータにあたる。これらのパラメータが適切に設定されることで、ネットワークは入力データから意味のある特徴を抽出し、正確な予測をすることができるようになる。

バックプロパゲーションの目的は、最終的な損失（誤差）が、この重み W とバイアス b のそれぞれにどれだけの「勾配」を持っているかを計算することにある。勾配とは、あるパラメータを少し変化させたときに損失がどれだけ変化するかを示す値であり、損失を最小化する方向、つまり学習すべき方向を示すものだ。この勾配を使って、重み W とバイアス b を微調整していくことで、ネットワーク全体の性能が向上する。

まず、比較的単純なバイアス b に関する勾配 db の計算を考える。出力 y は Wx + b で計算されるため、y が b の影響を受ける度合いは単純である。出力の勾配 dy (損失 L の y に対する勾配 dL/dy を指す) が得られたとき、バイアス b の勾配 db は基本的にこの dy と同じになる。これは、y の各要素が b の対応する要素に直接加算されているためだ。したがって、db は dy の要素をそのまま利用するか、またはバッチ処理の場合は dy の各要素を合計する形となる。

次に、本記事の主要なテーマである重み W に関する勾配 dW の計算を掘り下げる。W は行列であり、x もベクトル、y もベクトルであるため、dW の計算には行列の知識と、適切な次元（形状）の合わせ方が不可欠となる。dW の形状は、元の重み行列 W と同じ (出力次元, 入力次元) となるべきだ。

y = Wx + b の計算において、各出力要素 y_k は、重み行列 W の k 番目の行と入力ベクトル x の内積として計算される。つまり y_k = sum_j (W_kj * x_j) + b_k となる。 ここから W の特定の要素 W_kl に関する勾配 dL/dW_kl を計算する場合、連鎖律（チェインルール）を用いると、dL/dW_kl = sum_i (dL/dy_i * dy_i / dW_kl) となる。この式の dy_i / dW_kl は、i=k かつ j=l の場合にのみ x_l となり、それ以外はゼロである。したがって、dL/dW_kl = dL/dy_k * x_l と導かれる。

この結果を行列形式で表現すると、dL/dW は、dL/dy と x の外積として計算されることがわかる。ここで dL/dy は出力 y の勾配であり、x は入力である。dL/dy が (出力次元) のベクトル、x が (入力次元) のベクトルであるとき、dL/dW の各要素 (k, l) は (dL/dy)_k * x_l となる。

記事で言及されている「トリック」は、この外積の計算を、標準的な行列演算でどのように正確に表現するかという点にある。勾配 dL/dy (または dy と略記) が (出力次元) のベクトル、入力 x が (入力次元) のベクトルである場合、これらをそのまま行列積で組み合わせることはできない。W と同じ形状の dW を得るためには、dy を列ベクトル (出力次元, 1)、x を行ベクトル (1, 入力次元) として扱う必要がある。このとき、dW = dy[:, None] @ x[None, :] のように次元を拡張してから行列積を行うか、または np.outer(dy, x) のような外積専用の関数を用いることになる。

もし dy が行ベクトル (1, 出力次元)、x が行ベクトル (1, 入力次元) として表現されている場合、dy を転置して列ベクトル (出力次元, 1) に変換し、x はそのまま行ベクトル (1, 入力次元) として使用する dW = dy.T @ x のような記述が、多くのテンソルライブラリにおける実装と概念的な整合性をもたらす。この T は転置を意味し、dy の形状を (出力次元, 1) にすることで、x との行列積が可能になり、結果として W と同じ (出力次元, 入力次元) の形状を持つ dW が得られる。

この計算方法の「トリック」は、単なる数式の表現上の違いだけでなく、実際のプログラミング、特にPyTorchやTensorFlowのようなディープラーニングフレームワークにおける自動微分の挙動や、テンソルの形状操作を理解する上で非常に役立つ。勾配の形状を正しく理解し、それに応じて適切な行列演算を選択することは、バグのない効率的なモデルを構築する上で不可欠となる。

バックプロパゲーションにおける線形変換の勾配計算を正確に把握することは、ニューラルネットワークの学習プロセスを深く理解するための礎となる。重みやバイアスがどのように更新されていくのか、その背後にある数学的なメカニズムを理解することで、モデルの挙動をより適切に解釈し、性能改善のための戦略を立てることができるようになる。これは、システムエンジニアとしてディープラーニング分野で活躍するために必須の知識と言える。