【ITニュース解説】The Importance of Skewness and Kurtosis in EDA

データ分析を始める際、まず最初に行うべき重要な作業にEDA（探索的データ分析）がある。これは、集められ、きれいに整理されたデータの中身を深く理解するためのプロセスであり、その後のデータ分析プロジェクト全体の方向性を決定し、成功に導くために不可欠だ。このEDAの段階でどのような洞察を得られるかによって、前処理の具体的な手順、分析に使う特徴量（データ項目）の選び方、適用するアルゴリズムの種類、さらにはデータ中に含まれる異常値（外れ値）をどのように扱うかといった、あらゆる重要な判断が決まってくる。

データの中身を理解する上で特に重要となるのが、個々の変数がどのような「分布の形」をしているかを調べることだ。データの分布とは、データがどのような値を中心に、どのように散らばっているかを示すもので、グラフで視覚的に表現されることが多い。しかし、グラフだけでは把握しきれない細かなニュアンスや、より客観的な比較のためには、数値で分布の特性を測ることが求められる。そこで役立つのが、「歪度（わいど）」と「尖度（せんど）」という二つの統計量だ。これらは、データが理想的な分布とされる正規分布とどれくらい異なるかを評価するための強力なツールとなる。

歪度とは、データの分布が左右対称であるかどうか、つまり非対称の度合いを示す数値的な指標である。完璧に左右対称な分布の場合、歪度はゼロになる。しかし、もし分布が左右どちらかに偏っている場合、歪度はゼロではない値を取り、その偏りの大きさを教えてくれる。この歪度を正確に把握することは、データが平均値の周りにどのように散らばっているかを理解する上で非常に役立つ。たとえば、データが大きく偏っている場合、そのままの形で分析を進めると誤った結論を導く可能性があるため、正規化やスケーリングといったデータ変換を適用し、分布をより対称に近づける必要が出てくることがある。これにより、機械学習モデルの予測性能が向上するといった具体的なメリットが期待できるのだ。

歪度には主に三つのタイプがある。一つ目は「ゼロ歪度」で、分布が平均値を中心に完全に左右対称な状態を指す。この場合、平均値、中央値、最頻値という代表的な三つの値がすべて一致する特徴がある。二つ目は「正の歪度」、あるいは「右に歪んだ分布」と呼ばれる状態だ。これは分布の右側の裾が左側よりも長く伸びている形をしており、少数の極端に大きな値が分布全体を右に引っ張っていることを示唆する。このタイプの分布では、データ値の大部分が左側に集中しており、平均値は中央値よりも大きくなる傾向がある。三つ目は「負の歪度」、または「左に歪んだ分布」だ。これは正の歪度とは逆に、分布の左側の裾が右側よりも長く伸びている形をしている。少数の極端に小さな値が分布全体を左に引っ張っており、データ値の大部分は右側に集中し、平均値は中央値よりも小さくなる傾向がある。これらの歪度の数値は、統計学的な公式を用いるか、Pythonなどのプログラミング言語で利用できる統計ライブラリの関数を使えば簡単に計算できる。

次に、尖度は分布の「とがり具合」や「平坦さ」を測定する統計量である。これは、分布の中央部分がどれほど鋭く尖っているか、あるいはどれほど平らであるかを示すだけでなく、分布の「裾（すそ）」がどれくらい重いか、つまり極端な値（外れ値）が出現する可能性がどれくらい高いかという情報も提供する。尖度の値が高い場合、分布のピークは鋭く、裾が重いことを意味し、極端な値が発生しやすい傾向があると考えられる。逆に、尖度が低い場合は、ピークが平坦で裾が軽く、極端な値の発生頻度が少ないことを示唆する。標準的な正規分布の尖度は約3とされており、この値を基準に分布の尖り方を評価する。

尖度にも三つの主要なタイプがある。一つ目は「メソキュルティック」で、尖度が約3（超過尖度が0）の分布を指す。これは正規分布とほぼ同じとがり具合と裾の重さを持つ分布だ。二つ目は「レプトキュルティック」で、尖度が3より大きい分布を指す。この分布はピークがより鋭く高く、裾が標準的な分布よりも厚い（重い）特徴を持つ。これは、データに平均値から大きく離れた極端な値がより多く含まれている可能性を示唆している。三つ目は「プラティキュルティック」で、尖度が3より小さい分布を指す。この分布はピークがより平坦で低く、裾が標準的な分布よりも薄い（軽い）特徴を持つ。これは、データにおける値のばらつきが比較的均一で、極端な値が少ないことを示している。歪度と同様に、尖度も統計ライブラリや公式を使って簡単に計算し、数値として確認することができる。

まとめると、歪度と尖度は、データ探索において非常に強力な分析指標だ。これらは、平均値や分散といった基本的な統計量だけでは捉えきれない、データの非対称性や、極端な値の存在といったより深い特性を明らかにする。歪度が分布の偏り具合を示し、尖度がそのとがり具合と外れ値の発生傾向を示すことで、データ分析者はデータの品質をより詳細に評価し、その後のモデリングに向けて適切な準備を進めることができる。具体的には、どの前処理を施すべきか、どのようなデータ変換が有効か、そしてどの機械学習アルゴリズムがデータに最も適しているかといった重要な判断を、これらの数値的指標がサポートする。視覚的なグラフ分析とこれらの統計的な測定値を組み合わせることで、データの隠れたパターンや問題を効率的に特定し、信頼性の高いデータ分析や機械学習モデルの構築へとつなげることができるのだ。