【ITニュース解説】# Cleaning My Hospital Records Dataset: Preparing Data for Analysis
2026年10月29日に「Dev.to」が公開したITニュース「# Cleaning My Hospital Records Dataset: Preparing Data for Analysis」について初心者にもわかりやすく解説しています。
ITニュース概要
病院データ分析のため、Excelでデータクレンジングを実施。元データは保持し、重複や欠損値を確認した。電話番号や金額の形式を修正し、氏名列を作成。シートを読みやすく整えた。分析の質はデータ品質に依存し、この準備が重要だと学んだ。次は探索的データ分析に進む。
ITニュース解説
データ分析のプロジェクトが始まると、まず手元に集まったデータを使って分析を進めることになる。しかし、そのデータはそのままでは分析に使える状態ではないことが多い。病院の記録データセットを例に、データ分析の最初の重要なステップである「データクリーニング」のプロセスについて解説する。
データクリーニングとは、データ分析を行う前に、データが正確で、一貫性があり、信頼性の高い洞察を生み出す準備ができていることを確認するための作業である。これは、分析結果の品質を直接左右する非常に重要な工程だ。もしデータに誤りや不整合があれば、どれだけ高度な分析手法を使っても、その結果は信頼できないものとなってしまう。今回のプロジェクトでは、このデータ準備の段階にMicrosoft Excelが利用された。
まず、データクリーニングの作業において最も基本となるのが「オリジナルデータの保存」という考え方だ。手に入れたばかりの元のデータは、一切変更せずにそのままの状態を保つことが推奨される。これは、もしクリーニング作業中に何らかの問題が発生したり、元のデータに戻って確認する必要が生じたりした場合に、いつでも参照できる「安全なコピー」として残しておくためである。今回のケースでは、元の記録をコピーして「Cleaned Data」という名前の新しいワークシートを作成し、すべてのクリーニング作業はこの新しいワークシート上で行われた。これにより、生のデータはいつでも参照可能な状態で保持された。
具体的なデータクリーニング活動として、いくつかのステップが実行された。 最初のステップは「重複レコードのチェック」である。データセット内に全く同じ情報を持つ行が複数存在する場合、それを重複レコードと呼ぶ。例えば、患者の診察記録で同じ患者が同じ日に全く同じ内容で二重に登録されているようなケースだ。このような重複データは、集計や分析を行う際に結果を歪めてしまう原因となる。例えば、患者数を数える際に重複があれば、実際の患者数よりも多く数えてしまうことになる。今回の病院記録データセットでは、幸いにも重複レコードは発見されなかったため、次のステップへと進んだ。
次に、「欠損値のチェック」が行われた。欠損値とは、データの一部が空白になっている、つまり情報が「抜けている」状態を指す。例えば、患者の年齢や性別、受診日などの重要な情報が記録されていない場合だ。欠損値がある状態のまま分析を行うと、その部分のデータが考慮されず、全体像を正しく把握できなかったり、計算結果が不正確になったりする可能性がある。今回のデータセットでは、すべての列を確認したが、幸いなことに欠損値も特定されなかった。
続いて、「データフォーマットの改善」が実施された。データフォーマットとは、データの表現形式のことだ。例えば、「電話番号」の列があった場合、それが単なる文字列として認識されているのか、それとも数値として扱われているのかによって、その後の処理のしやすさが変わる。分析ツールで計算や並べ替えを正確に行うためには、データの型が適切である必要がある。今回のケースでは、「電話番号」の列が数値形式に変換された。また、「請求金額 (Bill Amount)」の列は、単なる数字ではなく、ケニアシリング(KSh)という通貨形式に整形された。このようにフォーマットを統一することで、金額の計算が正確に行えるようになり、また人間にとっても一目でそれが金額であることがわかるため、データの理解度が高まる。
さらに、「Full Name」という新しい列が作成された。元のデータには「First Name(名)」と「Last Name(姓)」という2つの列があったが、これを結合して1つの「Full Name(氏名)」として表示することで、より人間にとって読みやすく、理解しやすい形式となる。この結合には、ExcelのCONCAT関数が使用された。具体的には「=CONCAT(B2," ",C2)」という式が入力された。この式は、B2セル(名)の内容と、C2セル(姓)の内容を、その間にスペースを挟んで結合するという意味である。結合結果が正しく生成されたことを確認した後、元の「First Name」と「Last Name」の列は非表示にされた。これは、すでに「Full Name」列に情報がまとめられているため、冗長な情報を表示する必要がないと判断されたためである。このように、情報の表示形式を最適化することも、データクリーニングの重要な一部だ。
最後に、「ワークシートの可読性の改善」が行われた。これは、列の幅を調整することで、すべてのデータが画面上で見やすく、明確に表示されるようにする作業だ。データ分析は機械だけでなく、人間もデータを確認し、理解する必要があるため、視覚的な整理は非常に重要である。この地味な作業も、データを取り扱う上での効率と正確性を高めることに貢献する。
このデータクリーニングの段階を通じて、データ分析の本質について重要な学びがあった。それは、データ分析とは単にグラフを作成したり、複雑なクエリを書いたりすることだけではないということだ。分析から得られる洞察の品質は、分析対象となるデータの品質に大きく依存する。時間をかけてデータをきれいにし、その過程を記録(ドキュメント化)することは、プロジェクトの次の段階に進むための強固な基盤を築くことになる。つまり、データの準備と整理こそが、成功するデータ分析プロジェクトの要だということを改めて認識させられる。
データクリーニングが完了し、データが分析に適した状態になったことで、次のフェーズへと進む準備が整った。次の段階は「探索的データ分析(EDA)」と呼ばれる。このフェーズでは、Excelの数式、ピボットテーブル、そしてグラフといった機能を活用して、病院の記録データから隠れたパターンや興味深い洞察を見つけ出す作業が始まる。クリーニングされた質の高いデータがあるからこそ、これらの分析ツールを最大限に活用し、信頼性の高い結果を導き出すことができるのだ。データの前処理がいかにその後の分析の成否を分けるか、この一連の作業はそれを明確に示している。