【ITニュース解説】Checking missing dates in a legal metadata CSV with Python

システムエンジニアを目指す皆さんにとって、データはまさに仕事の土台となる要素だ。データベースに保存されたり、ファイルとして共有されたりするデータは、常に正確で最新の状態であることが求められる。しかし、現実の世界では、データが完璧であることは稀で、欠落していたり、誤った形式で入力されていたりすることが非常に多い。このようなデータの「品質」を確保することは、システム開発や運用において避けては通れない重要な課題の一つである。

今回取り上げるニュース記事は、Pythonというプログラミング言語を使って、まさにこのデータ品質の課題に取り組む具体的な例を示している。特に、日付データの欠落や不正な形式をチェックする監査（Audit）スクリプトについて詳しく解説している。対象となるのは、法律関連のメタデータ、具体的には裁判所の規則や判事に関する情報がまとめられたCSVファイルである。このファイルには、裁判所の名前、判事の名前、担当する規則のトピック、そして「rules_last_changed」（規則が最後に変更された日付）といった様々な情報が格納されている。

なぜ日付データが問題になりやすいのかというと、日付は人間にとって直感的な情報である一方で、コンピュータが正確に解釈するには厳密な形式が必要だからだ。例えば、「2024年3月」と書かれていても、それが「2024-03-01」なのか「2024-03-31」なのかは明確ではない。また、入力ミスで「2024-02-30」のような存在しない日付が入力されることもある。さらに、そもそも日付情報が全く入力されていない「空欄」の状態も頻繁に発生する。このような不完全な日付データが含まれていると、システムが正しく日付を比較したり、期間を計算したりすることができなくなり、誤った結果を導き出す原因となる。

このニュース記事で紹介されている監査スクリプトの主な目的は、このようなCSVファイル内の「rules_last_changed」列を対象に、日付データが次の3つのいずれの状態にあるかを特定し、分かりやすく報告することだ。一つ目は「missing」（欠落）、これは日付が全く入力されていない状態を指す。二つ目は「malformed」（不正）、これは日付の形式がISO 8601形式（YYYY-MM-DD）に準拠していない、あるいは存在しない日付である状態を指す。そして三つ目は「present」（正常）、これは日付が正確なISO 8601形式で入力されている状態である。

このスクリプトは、単に日付の有無をチェックするだけでなく、いくつかの重要な設計思想に基づいている。まず、日付が欠落している場合でも、勝手に今日の日付などで補完することはしない。これは、元のデータにない情報をシステム側で推測して追加すると、かえってデータの信頼性を損なう可能性があるためだ。あくまで現状を正確に把握することに徹している。次に、監査結果の各行には、元のデータに含まれる判事のページURLを必ず含めるようにしている。これにより、問題が発見された際に、どの情報が元のWebページと関連しているのかをすぐに確認し、手動で検証できるように工夫されている。これは、データ監査において「再現性」や「検証可能性」を確保する上で非常に重要な考え方だ。

スクリプトはPythonの標準ライブラリのみを使用して開発されているため、特別な追加ライブラリのインストールは不要である。これは、多くのシステム環境で手軽に利用できるという利点がある。具体的には、CSVファイルを扱うためのcsvモジュール、日付や時刻を扱うためのdatetimeモジュール、そしてコマンドライン引数を扱うためのsysモジュールが使われている。

スクリプトの核心となるのは、is_iso_dateという関数とauditという関数だ。is_iso_date関数は、引数として渡された文字列がISO 8601形式の日付（例: "2024-09-01"）であるかどうかを判定する。この関数はdatetime.date.fromisoformat()というメソッドを使い、文字列を日付オブジェクトに変換できるかどうかを試す。もし変換に成功すればそれは有効な日付でありTrueを返し、失敗すればValueError例外が発生するためFalseを返すという仕組みだ。これにより、「2024-02-30」のような存在しない日付も不正と判定できる。

audit関数は、実際にCSVファイルを読み込み、監査処理を実行するメインの機能である。この関数はまず、csv.DictReaderを使ってCSVファイルを読み込む。DictReaderを使うと、各行のデータを辞書形式で扱うことができ、列名をキーとしてデータにアクセスできるため、コードが分かりやすくなる利点がある。ファイルを開く際には、with open(...) as handle:という構文が使われている。これはファイルを確実に閉じ、リソースリークを防ぐためのPythonの一般的なイディオムである。

ファイルを読み込んだ後、audit関数はrules_last_changed列の値を取り出し、それが空文字列（欠落）、is_iso_date関数で不正と判定される値（不正）、または正常なISO 8601形式の日付（正常）のいずれであるかを判断し、それぞれmissing、malformed、presentという3つのリストに格納していく。各リストには、判事名、裁判所ID、URL、そして元の（問題があるかもしれない）日付値がタプルとして保存される。これにより、後からどの行にどのような問題があったのかを詳細に追跡できる。

スクリプトはコマンドラインから実行することを想定しており、python3 date-audit.py judges.csvのようにCSVファイルのパスを引数として渡すことができる。引数が指定されなかった場合は、「sample-judges.csv」というデフォルトファイルが使われるようになっている。実行すると、まず読み込んだ総行数、そして欠落、不正、正常の各カテゴリに分類された行数がサマリーとして表示される。その後に、各カテゴリに属する行の詳細が、判事名、裁判所ID、URL、日付値（欠落の場合は「(empty)」と表示）とともに一覧表示される。

ニュース記事では、架空のサンプルデータに対する実行結果が示されている。例えば、missing dateのセクションでは、日付が空欄の行が一覧表示され、malformed dateのセクションでは、「March 2024」のように形式が不正なものや、「2024-02-30」のように存在しない日付が一覧表示される。present dateのセクションには、正しい形式の日付を持つ行が示される。このような詳細な出力は、データのどこに、どのような問題があるのかを正確に把握し、修正作業に役立てる上で非常に有用だ。

ただし、この監査スクリプトが示すことができる情報には限界があることも理解しておく必要がある。まず、日付が欠落している場合、スクリプトはそれを「欠落している」と報告するだけで、その本来の日付が何であったかを推測することはできない。それは元のデータソースを参照するか、手動で調査する必要がある。また、「present」（正常）と報告された日付も、それがファイルが作成された時点での情報であり、法的な最終期限や最新の規則とは異なる場合がある。裁判所の規則は日々更新される可能性があるため、常に最新の情報を確認することが重要だ。さらに、この監査はファイル内のデータ形式をチェックするだけで、その背後にある実際の裁判所文書の内容までを検証するものではない。データの整合性を完全に保証するには、さらなるソース確認が必要になる場合がある。

このように、Pythonを使った簡単なスクリプトでも、データの品質を検証し、システム運用におけるリスクを特定する上で非常に強力なツールとなることがわかる。このスクリプトは、rules_last_changedという特定の列を対象にしているが、コードを少し変更するだけで、他の日付フィールドや、別の種類のデータファイルにも応用できる汎用性を持っている。システムエンジニアにとって、このようなデータ監査のスキルは、信頼性の高いシステムを構築・運用するために不可欠なものとなるだろう。