【ITニュース解説】Chasing a number to its source, and finding where the precision stops

私たちが日頃目にするさまざまな数値、例えば「このモデルの精度は94.3%です」や「円周率は3.14159…です」といったものに対し、私たちはつい「桁数が多いほど良い」と考えがちだ。しかし、これは必ずしも正しいとは限らない。ある一定の点を超えると、数値の余分な桁は現実世界における意味を失い、その数値を計算したコンピュータの特性や仕組みを反映するようになる。数値の本質的な意味を見極めるには、その数値がどこでどのように計算され、どの桁までが実際に意味を持っているのかを理解することが重要となる。

例えば、円周率（Pi）の桁数について考えてみよう。よく「NASAは円周率の39桁が必要だ」という話を聞くことがある。これは一種の都市伝説のようなもので、実際には異なります。ジェット推進研究所（JPL）のマーク・レイマン氏が計算したところによると、15桁の円周率があれば、その精度は毛髪一本の幅程度の誤差で計算できる。さらに37桁まで使えば、観測可能な宇宙全体の円周を計算するのに十分な精度が得られるのだ。ではなぜ39桁という数字が広まったのか。それは、多くのコンピュータで使われる「64ビット浮動小数点数（double型）」というデータ形式が、計算結果として39桁程度の数値を自動的に提供するからにすぎない。つまり、39桁という数字は、現実の精度を求めて決定されたものではなく、単にコンピュータのデータ形式の「おまけ」として出てきたものなのだ。この場合、37桁を超えた部分は、現実世界に意味を持つ情報ではなく、コンピュータの計算仕様による副作用だと言える。

次に、天気予報の予測精度についても同じような現象が見られる。天気予報は日々進化し、精度も向上しているが、「来月の天気」を正確に予測することは依然として難しい。これはコンピュータの計算能力が不足しているからではない。大気というシステムそのものが持つ予測の限界、つまりカオス的な性質が原因だ。1960年代には、すでに気象学者の研究によって、大気の予測可能な期間は約2週間が限界であると結論付けられている。より多くのセンサーを設置し、高性能なコンピュータを使っても、この限界はわずかにしか伸びない。なぜなら、その限界は測定機器や計算能力ではなく、予測対象であるシステム（大気）そのものに内在しているからだ。「来月の天気」を知りたいというのは、単に「より精密な情報」を求めているのではなく、「本質的に異なる種類の質問」をしていることになる。

さらに、アボガドロ定数というものがある。これは物質量（モル）を定義する上で使われる定数で、かつては測定によってその値が決定されていた。しかし、2019年にモルの定義が見直され、アボガドロ定数は「6.02214076 × 10²³」という値に「固定」された。つまり、この数値はもはや測定によって得られるものではなく、人類が「選んで定義した」ものになった。この瞬間に、アボガドロ定数の桁数には、世界に関するいかなる情報も含まれなくなった。その桁数は正確だが、それは私たちがそう決めたからであり、そこから何かを「測定」したり「発見」したりすることはできない。この数値のすべての桁は、世界について何も語らないのだ。

これら3つの例に共通するルールがある。それは、「ある数値の精度を追求するコストに見合うかどうかの分かれ目は、その数値が最終的にどのような『決定』に影響を与えるか」という点だ。もっと具体的に言うと、その数値が使われる一連のプロセスの中で、追加の1桁が「最終的な結果を左右する可能性のある最も粗い下流のリンク」がどこか、ということになる。もしその数値が「はい／いいえ」のような単純な判断にしか使われないのであれば、1桁の精度で十分かもしれない。機械加工する部品の許容誤差に関わるのであれば、3桁程度の精度が必要になることもある。それ以上の桁数は、単なる「飾り」にすぎない。さらに悪いことに、それは根拠のない自信を与えてしまう可能性がある。

問題は桁数が少なすぎることよりも、間違った部分に桁数が多すぎることにある。例えば、脳波（EEG）の基盤モデルに関するある調査では、モデルが学習した主要な特徴が、実際のタスク（脳波の解読）よりも「被験者個人の違い」に偏っていたことが判明した。この場合、被験者個人の違いに関する部分の精度を高めても、脳波の解読精度は向上せず、むしろ間違った情報を増幅させてしまう。つまり、高い精度を示す数値であっても、それが間違った対象に関するものであれば、全く意味がなくなってしまうのだ。

このことは、機械学習モデルの「精度スコア」にも当てはまる。「このモデルは94.3%の精度です」という数字だけでは、ほとんど意味がない。その94.3%という数字が、どのようなデータ分割（訓練データとテストデータの比率）、データ重複、あるいは比較対象となるベースライン（基準となる性能）の上で達成されたものなのかが分からなければ、その数値の持つ本当の意味は理解できない。浮動小数点数としての「0.3」という桁は確かに存在するが、その背後にある意味は、多くの場合、あいまいなままだ。

私たちがどんな数値に出会ったとしても、常に自分に問いかけるべき3つの質問がある。

1. その数値は、どこで最初に計算されたのか？（単に引用された場所ではなく、実際に計算された場所）
2. 追加の1桁が、最終的にどんな「下流の決定」を変える可能性があるのか？
3. もしその決定的な桁が動いたら、何が壊れるのか？

もし最初の質問に答えられないなら、その数値は「噂」にすぎない。そして、もし2番目の質問に答えられないなら、その数値の精度はあなたのためのものではなく、単に「注意深く見せたい」誰かのためのものだ。数値を鵜呑みにせず、その背後にある真の精度と意味を理解しようとすることが、システムエンジニアとしてデータを扱う上で非常に重要な姿勢となるだろう。