【ITニュース解説】Automatic differentiation can be incorrect

コンピュータの世界で微分計算を行う技術として「自動微分」がある。これは特に近年の人工知能、なかでもディープラーニングと呼ばれる機械学習モデルの学習に不可欠な基盤技術であり、多くのシステムエンジニアが間接的、直接的に関わることになっている。しかし、この自動微分が常に「正しい」結果を出すとは限らない、という注意点がある。システムエンジニアを目指す初心者が、この自動微分がどのように動作し、どのような落とし穴があるのかを理解することは、将来のシステム開発において極めて重要だ。

まず、自動微分とは何かを説明する。微分とは、ある関数の「変化の割合」を計算する数学的な操作だ。例えば、時間に対する位置の変化は速度であり、速度の時間に対する変化は加速度である。これらは微分の具体的な応用例だ。コンピュータで微分を計算する方法にはいくつかある。一つは「シンボリック微分」で、これは数学のルール（例えば、xのn乗 の微分は nかけるxのn-1乗）をそのままコンピュータに適用し、記号的に微分した式を導出する方法だ。しかし、関数が複雑になると、導出される式が非常に長くなり、計算効率が悪くなる欠点がある。もう一つは「数値微分」で、これは定義式の極限操作を小さな有限の差分で近似して計算する方法だ。たとえば、f'(x) ≈ (f(x+h) - f(x))/h のように、非常に小さな h を使って近似する。この方法はシンプルだが、h の選び方によって精度が大きく左右され、またコンピュータの浮動小数点数による丸め誤差の影響を受けやすい。

自動微分は、これら二つの方法の利点を組み合わせ、欠点を克服しようとする技術だ。自動微分は、関数を構成する基本的な演算（加算、乗算、三角関数など）の微分を連鎖律（合成関数の微分法則）を使って組み合わせていく。このプロセスは、計算グラフと呼ばれる形で表現されることが多く、計算の過程を「前向き」に実行して関数の値を求め、「後ろ向き」に実行して勾配（多変数関数の変化の方向と大きさ）を求めることができる。この方法の最大の利点は、シンボリック微分のように式の爆発を起こさず、数値微分のように近似誤差に悩まされることなく、比較的正確な勾配を効率的に計算できることだ。ディープラーニングでは、何百万、何億ものパラメータを持つモデルの学習にこの勾配情報が必要であり、自動微分は学習アルゴリズムの根幹を支えている。

では、なぜこの優れた自動微分が「間違った」結果を出す可能性があるのだろうか。主な原因はいくつかある。

第一に、コンピュータの浮動小数点演算の限界だ。コンピュータは実数を無限の精度で表現できない。限られたビット数で表現するため、すべての数値は近似値として扱われ、必ず「丸め誤差」が発生する。自動微分は数学的に正確な勾配を導出するものの、その計算過程で多数の浮動小数点演算が積み重なることで、最終的な結果に微細な誤差が生じることは避けられない。多くの場合、この誤差は実用上問題にならない程度だが、非常に敏感な計算や、特定の入力値においては、この誤差が拡大し、結果として誤った勾配情報につながる可能性がある。また、計算の途中で極端に大きな数や小さな数が現れると、コンピュータの数値表現の範囲を超えてしまい、オーバーフロー（大きすぎる数）やアンダーフロー（小さすぎる数で情報が失われる）が発生し、計算結果が「NaN」（Not a Number、非数）になったり、無限大になったりすることがある。これは「数値不安定性」と呼ばれ、自動微分の結果を大きく歪める原因となる。

第二に、数学的に微分不可能な点や特異点の存在だ。自動微分は、基本的に微分可能な関数を前提としている。しかし、実際のプログラムには、絶対値関数のように特定の点で微分係数が定義されない関数（例: f(x)=|x| は x=0 で微分不可能）、あるいは条件分岐（if/else文）や整数演算によって、関数の挙動が急激に変化したり、勾配が「途切れたり」する部分がある。 例えば、if x > 0: y = x else: y = 0 のようなReLU関数（整流線形ユニット）を考えてみよう。x > 0 では勾配は 1 だが、x < 0 では勾配は 0 だ。x = 0 の点では厳密には微分不可能であり、自動微分フレームワークによっては、この点での勾配の扱いが異なる場合がある。多くは、慣習的に勾配を 0 と定義したり、左側微分・右側微分を用いて近似したりするが、これは数学的な厳密性とは異なる「定義」だ。 さらに、勾配を計算したい変数が条件分岐の「条件」に使われている場合、問題は複雑になる。たとえば if some_variable > threshold: のような場合、some_variable の値が threshold を跨ぐ瞬間に、プログラムの実行パスが変化してしまうため、その前後の挙動から some_variable の勾配を適切に計算することが難しくなる。このような構造では、自動微分は勾配を正しく追跡できず、結果として勾配が 0 になったり、不正確な値になったりすることがある。 また、計算グラフの途中に整数演算が挟まれる場合も注意が必要だ。例えば、y = floor(x) のように、浮動小数点数を整数に丸める操作では、その前後で勾配情報が完全に失われ、勾配は 0 になってしまう。これは、整数演算が連続的ではないため、微小な変化に対する出力の変化がほとんどない（または飛び飛びになる）ためだ。

第三に、利用する自動微分フレームワークの制約やカスタム演算だ。TensorFlowやPyTorchのような主要な機械学習フレームワークは強力な自動微分機能を持っているが、これらも万能ではない。フレームワークが提供する標準的な演算子に対しては正確な勾配を計算できるが、ユーザーが独自に実装したカスタム演算や、外部の科学計算ライブラリの関数を呼び出す場合、その関数に対する勾配情報がフレームワークに組み込まれていないと、自動微分は正しく機能しない。この場合、ユーザー自身がそのカスタム演算の勾配を手動で計算し、フレームワークに「教える」必要がある。これを「カスタム勾配の実装」と呼ぶ。もしこれが行われないと、そのカスタム演算の部分で勾配計算のパスが「途切れて」しまい、それより前の変数に対する勾配がすべて 0 になってしまう、あるいは不正確な値になる。

システムエンジニアを目指す初心者は、これらの点を理解し、自動微分が魔法の技術ではないことを知るべきだ。機械学習モデルの学習がうまくいかないときや、期待通りの性能が出ないときに、単にモデルやデータの問題だけでなく、自動微分の特性や限界に原因がある可能性を考慮に入れることが重要になる。デバッグの際には、計算グラフのどの部分で勾配がおかしくなっているのか、数値的に不安定な箇所がないか、微分不可能な点や条件分岐、整数演算が問題を引き起こしていないかなどを慎重に確認する必要がある。また、利用する自動微分フレームワークのドキュメントを熟読し、特定の演算の勾配挙動や、カスタム演算を扱う際の方法論を深く理解することが、正確で信頼性の高いシステムを構築するための第一歩となるだろう。自動微分が常に正しいとは限らないという認識は、より堅牢で高性能な機械学習システムを開発するための基盤となる知識なのである。