【ITニュース解説】機械学習は“内挿に強く外挿に弱い”を図で理解する — LightGBM vs 線形回帰

機械学習モデルは、私たちが与えたデータ、これを「学習データ」と呼ぶが、その学習データからパターンを学び、まだ見ていない新しいデータに対して予測や分類を行う技術だ。この予測能力を評価する際に、「内挿（ないそう）」と「外挿（がいそう）」という二つの考え方が非常に重要になる。本記事では、この内挿と外挿の概念を深掘りし、機械学習モデルが一般的に「内挿には強く、外挿には弱い」という特性を持つことを、代表的なモデルであるLightGBMと線形回帰を比較した具体的な実験を通して理解することを目指している。

まず、内挿とは、モデルが学習したデータの範囲内で予測を行うことを指す。たとえば、ある機械部品の耐久性を、温度が20度から40度の範囲で測定したデータを使ってモデルが学習したとしよう。このモデルに、学習範囲内である30度の温度での耐久性を予測させるのが内挿にあたる。モデルはすでに知っている範囲のデータから情報を引き出すため、比較的正確で信頼性の高い予測結果を出すことが多い。これは、すでに知っている地図の範囲内で目的地を見つけるようなもので、予測の根拠がはっきりしているためだ。

一方で、外挿とは、モデルが学習したデータの範囲外で予測を行うことを指す。上記の例で言えば、温度が20度から40度のデータで学習したモデルに、0度や60度といった、学習したことがない範囲の温度での耐久性を予測させるのが外挿にあたる。この場合、モデルは未知の領域に踏み出すことになり、学習データからは得られない情報に基づいて予測を行うため、予測が大きく外れたり、現実とかけ離れた値を示したりする可能性が非常に高くなる。これは、地図に載っていない未開の土地で目的地を探すようなもので、モデルが何を基準に予測するかが曖昧になり、その挙動も予測しにくくなる。

多くの機械学習モデル、特に複雑なパターンを学習するようなモデルが「内挿に強く外挿に弱い」という性質を持つのは、モデルが学習データのパターンを徹底的に記憶し、その範囲内での関連性を非常に精密に見つけ出すのが得意だからだ。しかし、学習データの範囲を一歩出ると、その記憶やパターンが適用できなくなり、モデルは適切な予測根拠を失ってしまう。その結果、予測が不安定になったり、全く見当違いな値を出したりする現象が起こるのだ。

この記事では、この性質をLightGBMと線形回帰という二つの異なるタイプのモデルを使って比較している。

LightGBMは「勾配ブースティング」と呼ばれる手法を用いた「決定木アンサンブル」モデルの一つだ。決定木とは、データを質問形式で細かく分岐させながら分類や予測を行うモデルで、まるでYes/Noのフローチャートのように条件を重ねていく。「温度は25度以上か？」「湿度は60%以上か？」といった質問を繰り返すことで、データがどのグループに属するか、あるいはどのような値を持つかを判断する。LightGBMは、このような決定木をたくさん組み合わせて（これを「アンサンブル」と呼ぶ）、それぞれの木の予測を統合することで、非常に高い精度を実現する。多数の決定木が複雑なデータパターンを高い解像度で捉えるため、学習データ範囲内（内挿）での予測性能は非常に優れている。しかし、この複雑さが外挿時には弱点となる。学習データに現れていない全く新しい条件が与えられた場合、決定木はその条件を分岐の基準として持たないため、適切な予測ができず、突然不自然な値を出すことがある。これは、学習データに存在する特定のパターンを深く記憶する傾向があるため、未知の領域ではその記憶が役に立たなくなるからだ。

一方、線形回帰は非常にシンプルな機械学習モデルで、データ間の関係を一本の直線（あるいは、次元が多ければ平面や超平面）で表現しようとする。たとえば、温度と反応速度の関係が概ね直線的であると仮定し、データに最もフィットする直線を引くことで予測を行う。この直線の式は y = ax + b のような非常に単純な形で表される。このシンプルさゆえに、線形回帰は複雑なデータパターンを捉える能力ではLightGBMに劣るものの、予測の挙動が非常に分かりやすいという特徴を持つ。外挿の場合でも、学習データから導き出された直線をそのまま延長する形で予測を行うため、予測値が不自然に急激な変化をしたり、途切れたりすることは少ない。もちろん、実際の現象が直線的でない場合は予測精度は低くなるが、少なくともモデルの予測がどのように導かれているかは理解しやすい。

記事では、温度と反応速度という具体的な実験を通じて、この二つのモデルが内挿と外挿でどのように異なる挙動を示すかを視覚的に確認している。LightGBMは学習データ範囲内では高い精度で反応速度を予測するが、学習範囲外の低温や高温になると、予測が不安定になったり、極端な値を示したりする様子が見て取れることだろう。一方、線形回帰は、内挿の精度ではLightGBMに及ばないかもしれないが、外挿時にも学習データから導かれた直線に沿って予測を続けるため、比較的安定した予測値を出す。ただし、その予測値が現実の物理法則と常に合致するとは限らない。

この実験結果は、私たちが機械学習モデルを現実世界の問題に応用する際に、どのモデルを選ぶべきか、そしてそのモデルの限界をどう理解すべきかという重要な示唆を与えている。予測したい対象が学習データの範囲内にほぼ収まるのであれば、LightGBMのような複雑なモデルは非常に強力なツールとなる。しかし、学習データ範囲外の予測が必要となる場面では、そのモデルの「外挿能力」を慎重に評価する必要がある。場合によっては、線形回帰のようなシンプルなモデルの方が、予測の安定性や解釈のしやすさの点で優れることもあるのだ。機械学習を利用する上では、モデルの得意なことと苦手なことを理解し、利用目的に合わせて適切に選択し、その予測結果を盲目的に信じるのではなく、常にその限界を意識することが不可欠だ。