欠損値 (ケッソンチ) とは | 意味や読み方など丁寧でわかりやすい用語解説

欠損値 (ケッソンチ) の読み方

日本語表記

欠損値 (ケッソンチ)

英語表記

missing value (ミッシングバリュー)

欠損値 (ケッソンチ) の意味や用語解説

欠損値とは、データセットにおいて本来存在するはずの値が何らかの理由で記録されていない状態、またはその記録されていない状態を表現するための特殊な値や記号のことである。データ収集時のエラー、入力漏れ、システムの障害、ユーザーの回答拒否など、様々な原因によって発生する。データベース、データ分析、機械学習など、ITシステムにおいてデータを取り扱うあらゆる場面で遭遇する可能性があり、その適切な理解と対処はシステムエンジニアにとって非常に重要である。欠損値はデータの信頼性を低下させ、正確な分析やシステム動作を妨げるため、発生した場合には適切に処理する必要がある。 欠損値は、単に「値がない」というだけでなく、その「ない」という状態がどのような意味を持つかによっていくつかの種類に分類される。主な分類として「完全ランダム欠損 (MCAR)」「ランダム欠損 (MAR)」「非ランダム欠損 (MNAR)」が挙げられる。完全ランダム欠損は、欠損の発生が他の観測データや欠損しているはずの値自体とは完全に無関係にランダムに起こる場合を指す。例えば、データ入力時に偶発的なミスで一部のデータが記録されなかったようなケースである。ランダム欠損は、欠損の発生が、観測されている他のデータには依存するが、その欠損しているはずの値自体には依存しない場合を指す。例えば、特定の年齢層のユーザーが、別の項目である年収に関する質問に回答しない傾向があるが、その回答しない理由が年収の具体的な金額とは無関係であるような場合がこれに該当する。非ランダム欠損は、欠損の発生が、その欠損しているはずの値自体に依存する場合を指す。例えば、体重が重い人ほど体重の申告を避ける傾向がある場合などがこれに該当し、これは最も対処が難しい種類の欠損値とされている。これらの欠損メカニズムを理解することは、適切な対処法を選択する上で不可欠である。 ITシステムにおける欠損値の表現方法は、利用する技術やプラットフォームによって異なる。リレーショナルデータベースでは、値がないことを示すために「NULL」という特殊なマーカーが一般的に使用される。SQLにおいて`NULL`は、0や空文字列とは異なり、「値がない」「不明である」という状態を明確に表現する。プログラミング言語のPythonや、データ分析ライブラリのPandas、NumPyでは、数値データにおける欠損を「NaN (Not a Number)」で表現する。これは非数値演算の結果や、数値として表現できない欠損値を扱う際に用いられる。その他、空文字列 (`''`) や、-9999などの特定の意味を持たない異常な値（センチネル値）を便宜的に欠損値として扱う場合もあるが、これらは正規の欠損値表現とは異なり、後続の処理で予期せぬ問題を引き起こしやすい。 欠損値はデータ処理の様々な局面で深刻な問題を引き起こす。第一に、統計分析の歪みである。例えば、平均値や標準偏差などの基本的な統計量を計算する際に欠損値が含まれていると、その結果が実際のデータの特性を正確に反映しない可能性が高い。データの分布が偏ったり、変数間の相関関係が誤って解釈されたりすることで、間違った結論が導き出される恐れがある。第二に、機械学習モデルの精度低下である。多くの機械学習アルゴリズムは欠損値をそのままでは処理できず、エラーが発生するか、または欠損値を含むデータが学習されるとモデルの予測性能が著しく低下する。不正確なデータから学習したモデルは、実運用において期待される性能を発揮できない。第三に、データ処理におけるエラーの発生である。欠損値に対応していないプログラムやシステムでは、予期せぬエラーが発生し、処理が中断したり、不正な結果を出力したりする可能性がある。これによりシステムの安定性が損なわれる。これらの問題が積み重なることで、データに基づいた意思決定の質が低下し、事業戦略や製品開発などに悪影響を及ぼすリスクがある。 欠損値への対処法は多岐にわたり、状況に応じて最適な方法を選択する必要がある。主な対処法として「削除」と「補完（Imputation）」がある。 削除は最も単純な方法であり、欠損値を含むデータを分析対象から除外することである。行削除（Listwise Deletion）は、欠損値が一つでも含まれる行（レコード）全体を削除する方法である。実装が容易な反面、多くの行が削除されると利用可能なデータ量が大幅に減少し、データの情報が失われるという大きなデメリットがある。特に欠損値が多いデータセットでは、データの偏りが生じたり、分析自体が不可能になったりするリスクがある。列削除（Columnwise Deletion）は、欠損値が多く含まれる列（項目）全体を削除する方法である。その列が分析目的上重要でなければ有効だが、重要な情報を含む列であれば情報損失につながる。 補完（Imputation）は、欠損している値を何らかの方法で推定し、埋めることで欠損値をなくす方法である。単純な補完方法としては、対象となる列の平均値、中央値、最頻値で欠損値を埋める方法がある。これらの方法は実装が簡単で計算コストも低いが、データの多様性を損ない、統計量や変数間の相関関係にバイアスを生じさせる可能性がある。例えば、平均値で補完すると、データの分散が過小評価されやすくなる。数値データであれば0や特定の定数で、カテゴリデータであれば「不明」といった新しいカテゴリで埋める方法もあるが、これらもデータの意味合いを変えてしまうリスクがある。 より高度な補完方法としては、回帰分析による補完やk-近傍法（k-NN）による補完、多重代入法などがある。回帰分析による補完は、他の観測されている変数との関係に基づいて欠損値を予測し埋める方法である。k-近傍法は、欠損値を持つレコードと似た特性を持つ他のレコードを見つけ、それらの値を用いて欠損値を補完する方法である。多重代入法は、複数の異なる補完を行い、それぞれで分析を実行し、最終的にそれらの結果を統合することで、欠損値による不確実性を考慮に入れることができる。最近では、機械学習モデル自体を欠損値の補完に利用する手法も開発されており、より複雑なデータパターンに対応できる可能性がある。 欠損値の対処法を選択する際は、欠損のメカニズム（MCAR, MAR, MNARのどれに近いか）、データの特性、分析やシステムの目的、許容されるデータ損失量、利用可能な計算リソースなどを総合的に考慮する必要がある。例えば、欠損値がごくわずかでMCARに近い場合は、行削除で対応しても大きな問題にならないことが多い。しかし、欠損値が多く、特にMNARのようなメカニズムである場合は、安易な削除や単純な補完は誤った結果を招く可能性が高いため、より高度な補完手法や、欠損値をそのまま扱える（または欠損値を考慮した）特殊な機械学習アルゴリズム（例えば、一部の勾配ブースティング系アルゴリズム）の利用を検討する必要がある。システムエンジニアとしては、データが持つ特性とビジネス要件を理解し、適切な欠損値処理を行うことで、システム全体の信頼性と性能を向上させることが求められる。