【ITニュース解説】Handling Missing Data in R: A Complete Guide to Imputation with MICE

データ分析において、データの欠損は非常に一般的で、多くの分析者が頭を悩ませる問題だ。システムの運用やデータ収集の過程で、何らかの原因で一部のデータが記録されなかったり、不完全になったりすることは避けられない。分析者はデータクリーンニングや前処理に多くの時間を費やしており、その大部分を占めるのがこの欠損値の処理である。欠損データを適切に扱わないと、分析結果が偏り、統計的な信頼性が低下し、誤解を招くような結論に至る可能性もある。単に欠損しているデータを削除してしまうという方法もあるが、特に欠損が多い場合には貴重な情報を失いかねない。そこで、より洗練された解決策として「補完（Imputation）」という手法が用いられる。これは、統計的に妥当な推定値を用いて欠損値を埋めるアプローチだ。

欠損データが発生する原因は多岐にわたる。例えば、アンケートで回答者が質問をスキップしたり、測定機器がデータを記録できなかったり、あるいは誤った値が入力されたりする場合がある。どんな原因であれ、これらの「穴」を適切に処理しなければ、構築されるモデルに偏りが生じてしまう。もし欠損値がデータセット全体の5%未満であれば、結果に大きな影響を与えずに無視できることもあるが、その割合が大きくなると、統計的な測定値を歪め、データ全体の代表性を損なう可能性が高まる。このような場合に、補完が不可欠となる。

欠損値とは具体的にどのようなものだろうか。例えば、オンラインフォームで個人情報を入力する際、既婚者であれば「配偶者の名前」や「子供の数」といった欄が埋まる一方で、未婚者であればこれらの欄は空欄のままになる。これらは意図的に空白にされた欠損値の一種である。他にも、回答者が年齢の入力を忘れてしまった場合のような意図しない欠損や、年齢の欄に負の値や名前が入力されてしまうような誤った入力、あるいは収入や健康状態といったデリケートな質問への意図的な未回答なども欠損値として扱われることがある。欠損値が発生する背景は様々であるため、どのような種類の欠損データであるかを事前に特定することが、適切な処理方法を選ぶ上で非常に重要となる。

欠損値は大きく三つのカテゴリに分類される。一つ目は「MCAR（Missing Completely at Random）」で、これは欠損が完全にランダムに発生し、観測されている他の変数とも、欠損した値自体とも全く関係がない状態を指す。例えば、実験機器が何の理由もなくランダムに測定を失敗した場合がこれにあたる。MCARは稀なケースだが、最も扱いやすく、このデータを無視しても分析結果に偏りが生じることは少ない。二つ目は「MAR（Missing At Random）」で、これは欠損が観測されている他の変数には依存するものの、欠損した値自体には依存しない状態だ。例えば、男性は女性よりも特定のアンケートに回答しにくいが、これはその人の実際の状態（例えばうつ病レベル）とは関係なく、性別という観測可能な情報にのみ依存している場合などである。MARの場合、欠損のパターンが他の観測データで説明できるため、比較的高い信頼性で補完が可能となる。三つ目は「NMAR（Not Missing At Random）」で、これは欠損が未観測のデータや、欠損した値そのものに依存する最も困難なタイプだ。例えば、配偶者名の欄が空欄である理由が、未婚だからではなく、その人が配偶者の情報を開示したくなかったから、というケースがこれにあたる。NMARの欠損値は、その理由がデータ自体に隠れているため、処理が最も難しく、しばしばその分野の専門知識が必要とされる。欠損値のタイプを正確に特定しないまま処理を進めると、結果が大きく歪んでしまう可能性があるため、この分類は非常に重要だ。

欠損値を補完するアプローチはいくつかある。最も「単純な補完」としては、数値データであれば欠損値を平均値や中央値で埋める方法、カテゴリデータであれば最も頻繁に出現する値（最頻値）で埋める方法がある。これらの方法は実装が簡単で、データセットのサイズを保つことができるという利点がある。しかし、データのばらつきを減少させたり、変数間の本来の関係性を歪めてしまったりする可能性があるという欠点がある。

これに対して、モデリングを前提とした分析で推奨されるのが「高度な補完」手法である。これには、欠損値がある変数を他の変数を説明変数として回帰モデルを構築し、そのモデルで予測された値で補完する「回帰ベースの補完」や、「mice（Multivariate Imputation by Chained Equations）」のようなアルゴリズムを用いた「多重補完」、さらには「missForest」のような機械学習（ランダムフォレスト）を用いるアプローチも含まれる。これらの高度な方法は、より現実的な推定値を生成し、データが持つ統計的な関係性をより良く保つことができるため、信頼性の高い分析結果を得る上で非常に有効だ。

R言語では、欠損データの補完に特化した様々なパッケージが提供されている。例えば、Hmiscは平均や中央値といった単純な補完を行うパッケージ、Ameliaは時系列データなどにも対応した多重補完を行うパッケージ、missForestはランダムフォレストを利用した非パラメトリックな補完を行うパッケージである。中でも「mice」パッケージは、多変量チェインド方程式を用いた多重補完を実現し、その汎用性と信頼性から、広く業界標準として認識されている。

miceパッケージは、欠損値を持つ各変数について、他の変数を予測子として利用しながら統計モデルを構築し、欠損値を補完するという仕組みを持つ。このプロセスを複数回繰り返し、それぞれ異なる補完済みデータセットを生成することで、補完によって生じる不確実性をも分析に組み込むことができる。

実際の例として、医療データであるnhanesデータセットを考えてみよう。このデータセットには、年齢、BMI（体格指数）、高血圧の有無、コレステロール値といった情報が含まれているが、BMI、高血圧、コレステロールの各変数には欠損値が存在する。まず、miceやVIM、latticeといった必要なパッケージを読み込み、データセットの構造を確認する。次に、VIMパッケージのaggr関数などを使って、データ全体のどの変数にどれくらいの欠損があるのか、どのようなパターンで欠損が発生しているのかを視覚的に把握することが重要だ。例えば、BMIとコレステロールの間に特定の欠損パターンがあるかどうかをmarginplotで確認し、欠損しているグループとそうでないグループの分布が似ていれば、比較的扱いやすいMCARの可能性が高いと判断できる。

このように欠損状況を把握した上で、いよいよmiceで補完を実行する。mice関数にデータセットを渡し、「m = 5」で5つの異なる補完済みデータセットを生成し、「maxit = 40」で各データセットを40回反復して生成するよう指示する。デフォルトでは、数値データにはPMM（Predictive Mean Matching）という手法が使われ、カテゴリデータにはロジスティック回帰などが適用される。補完された値はオブジェクト内に保存されており、例えばコレステロールの補完値を確認することもできる。分析に利用する際には、complete関数を使って、生成された5つのデータセットのうち任意のものを一つ選んで完全なデータセットとして取り出す。

補完が完了したら、その品質を評価することが欠かせない。miceパッケージには、補完の品質を確認するための診断プロット機能が備わっている。例えば、xyplot関数を使えば、観測値と補完値の関係性をプロットで比較できる。また、densityplot関数では、元の観測データの分布（青色）と、補完された値を含むデータの分布（赤色）を重ねて表示し、これらがどれだけ類似しているかを確認できる。もし赤色の分布が青色の分布とよく似ていれば、補完が元のデータの特性をうまく維持していると判断できる。

miceの重要な利点の一つは、単一の補完データセットで分析を行うのではなく、複数生成された補完データセットすべてを使ってモデリングを行い、その結果を統合できる点にある。例えば、lm関数を使って線形モデルを複数の補完済みデータセットそれぞれに適用し、その後にpool関数を使ってそれらの結果を一つに統合する。このアプローチは、補完によって生じる不確実性を分析に適切に組み込むことができ、結果として変動性を過小評価することなく、より信頼性の高い統計的推論を可能にする。

欠損データへの対処は、データ分析における最も重要な前処理ステップの一つである。安易に不完全なレコードを削除してしまう方法は、特に欠損がランダムではない場合に、分析結果を大きく偏らせる原因となる。その代わりに、補完という原則的な方法を用いることで、分析の整合性を損なうことなく、データの「穴」を埋めることができる。MCAR、MAR、NMARという欠損データの三つのタイプを理解し、単純な方法からmiceのような高度な多重補完方法までを使いこなし、診断によってその品質を評価する。Rのmiceパッケージのような強力なツールを活用することで、システム開発やデータ分析において、統計的に健全であるだけでなく、現実世界をより正確に反映したモデルを構築できるのだ。