【ITニュース解説】Rye Tables vs Python/Pandas: A Different Way to Wrangle Data

私たちは日々、大量のデータを扱っており、そのデータを効率的に整理し、分析する技術はシステムエンジニアにとって非常に重要だ。現在、Pythonというプログラミング言語と、そのライブラリであるPandasがデータ操作のデファクトスタンダードとして広く使われている。しかし、今回紹介するRyeという新しいプログラミング言語は、Pandasとは異なる、ユニークなアプローチでデータ操作を提案している。

Ryeはまだ開発途上の言語だが、RebolやFactorといった言語から影響を受けており、人々の情報の扱いに近い高レベルな表現を目指している。その最も特徴的な要素の一つが「Table」（テーブル）と呼ばれるデータ型だ。このTableは、表形式のデータを扱うための特別なデータ構造で、データベースのテーブルやExcelのシートのように、行と列を持つデータを表現する。RyeのTableは「第一級オブジェクト」であり、つまり数値や文字列と同じようにプログラム内で自由に扱うことができる。また、「イミュータブル」という特性を持つ。これは一度作られたTableは変更されず、Tableを操作するたびに新しいTableが生成されることを意味する。これにより、意図しないデータの変更を防ぎ、予測可能なコードを書く助けとなる。

Ryeでは、Tableの操作に「パイプ演算子」（|）と「op-words」（操作を表すキーワード）を多用する。これらの操作は「エンドモーフィック」と呼ばれる特性を持つ関数で実装されている。エンドモーフィックとは、Tableを入力として受け取り、常に新しいTableを出力として返す関数のことだ。これにより、複数の操作をまるで水をパイプで流すように、連続してつなぎ合わせることができる。この設計思想が、Ryeでのデータ操作を非常に簡潔で分かりやすいものにしている。

それでは、具体的なデータ操作の例を見て、Rye、Python/Pandas、そしてライブラリを使わない純粋なPythonで、どのように記述が異なるのかを比較してみよう。

シナリオ1: データのフィルタリングと変換

最初の例は、SF書籍のデータから、1980年以降に出版された本を抽出し、現在の年から出版年を引いて「本の年齢」という新しい列を追加し、その年齢でソートして上位2件を表示するというものだ。これはデータ処理で非常によく使われる基本的なパターンだ。

Ryeの場合、booksというTableに対して、まずwhere-greaterで年をフィルタリングし、次にadd-columnで年齢列を追加、order-byでソートするという一連の処理を、パイプ演算子でつなぎ合わせて記述する。各操作が短い単語（where-greater、add-columnなど）で表現され、処理の流れが視覚的に分かりやすい。

一方、PythonとPandasでは、Ryeと似たような簡潔なコードになる。PandasのDataFrameというデータ構造（Tableに相当するもの）に対して、locやassign、sort_valuesといったメソッドをドット（.）でつなぎ合わせて記述する。ただし、PandasはPythonの通常の文法とは少し異なる、独特なアクセサ構文（books[books['year'] > 1980]のような記述）を使うことがあり、慣れるまでは少し戸惑うかもしれない。

純粋なPythonで同じ処理をしようとすると、複数のforループとif文を使って、データを一つずつ手作業で処理していく必要がある。まずフィルタリング用のループ、次に年齢列を追加するループ、最後にソートする処理と、それぞれの目的のために個別のコードブロックを書くことになる。この方法は、コードが冗長になりやすく、何を行っているのかを理解するためには、コメントをつけたり、コード全体を読み込む必要が出てくる。RyeやPandasが「何をしたいか」という意図を直接的に表現できるのに対し、純粋なPythonでは「どうやってやるか」という手続きを細かく記述する必要があるため、コードの複雑さが増すにつれて可読性が低下しやすい。

シナリオ2: データの結合と集約

次に、さらに複雑な処理として、複数のデータセットを「結合」し、データを特定の基準で「グループ化」して合計や平均を計算し、その結果をExcelファイルとして保存する例を考えてみよう。この例では、宇宙コロニーのデータと惑星のデータを結合し、惑星のタイプごとにコロニーの総人口と平均コロニーサイズを算出する。

Ryeでは、coloniesとplanetsという2つのTableをinner-joinという関数で結合し、group-byでグループ化と集計を行う。Ryeのgroup-by関数は、集計したい列と集計関数（count、sum、avgなど）を独自のマイクロダイアレクト（小規模な専用の記述方法）で指定できる。これもパイプ演算子でつなぎ、最後にsave\xlsxでExcelに出力できる。一連の処理が非常に直感的に記述されている。

Pandasも同様に、mergeメソッドでデータフレームを結合し、groupbyとaggメソッドでグループ化と集計を行う。PandasもRyeと同様に、簡潔な記述で複雑なリレーショナル操作を実現できる。Excelへの保存もto_excelメソッドで簡単に行える。

純粋なPythonでこれを実現しようとすると、さらにコードの複雑さが増す。データ結合のためには、二重のforループを使って、片方のデータの各レコードと、もう片方のデータの各レコードを比較し、条件が合えば結合するという処理を手動で記述する必要がある。グループ化と集計のためには、defaultdictのようなデータ構造を使って、手動でデータを分類し、それぞれのグループに対して合計や平均を計算するという、多くのステップが必要となる。Excelへの出力も、追加のライブラリを使って手動でコードを書くことになるため、全体として非常に冗長で、コードの行数が劇的に増加し、バグを混入させるリスクも高まる。

シナリオ3: 複数の表をネストする複雑な処理

最後の例は、3つのCSVファイル（太陽系外惑星、観測データ、ステーション情報）を読み込み、それぞれの太陽系外惑星に対して「その惑星のトップ3の観測データ」と「その惑星付近に駐留する全ステーションの総人口」を計算し、最終的に多層構造のJSON形式で出力するという、より高度なデータ処理だ。ここでは、一つのデータ項目の中に別のデータリストや集計値が含まれる「ネストされた」構造を扱う。

Ryeでは、まずcontextを使って3つのCSVファイルを一括でTableとして読み込む。そして、exoplanetsという主要なTableに対して、add-columnを使って新しい列を追加する。ここでRyeのTableの強力な機能が発揮される。RyeのTableは、そのセルの中に別のTableを直接格納できる。そのため、「トップ3の観測データ」を計算する処理は、add-columnの内部で、observations Tableに対するフィルタリング、ソート、抽出といった一連の操作として記述できる。同様に、「ステーションの総人口」も、stations Tableに対するフィルタリングと合計計算として記述できる。これにより、非常に複雑なデータ構造の加工を、簡潔かつ自然な形で表現できる。最終的にto-jsonでJSON形式に変換する。

Pandasの場合、このネストされた処理には少し異なるアプローチが必要になる。まずCSVファイルを読み込むところは同じだが、「トップ3の観測データ」や「総人口」を計算する部分では、ヘルパー関数（補助的な関数）を定義し、それをapply()メソッドを使って各太陽系外惑星のIDに適用するという形になる。Pandasのapply()は強力だが、RyeのようにTableのセルに直接Tableを格納して処理を進めるような直接的な記述とは少し異なり、処理のつながりが間接的になるため、コードの形状がRyeとは異なる。

純粋なPythonでは、このレベルの複雑な処理は非常に大変だ。CSVファイルの読み込みからデータの型変換まで手動で行い、さらに効率的なルックアップのために辞書型でデータを前処理する必要がある。そして、各太陽系外惑星をループで処理する中で、関連する観測データをフィルタリング、ソートし、トップ3を抽出。同様に、関連するステーションデータを集計するという、何重にも複雑なロジックを自分で実装しなければならない。最終的なJSON形式への変換も、適切なデータ構造を組み上げてjsonライブラリを使うことになる。全体として、非常に多くのコードと複雑な制御フローが必要になり、可読性や保守性が著しく低下する。

Ryeの展望と結論

これらの例を通して、Ryeがデータ操作において、特に複雑な処理を簡潔かつ直感的に記述できる可能性を秘めていることが分かるだろう。Tableが基本的なデータ型であり、関数がエンドモーフィックであるという設計思想が、処理の流れをパイプでつなぐように自然に表現することを可能にしている。また、Ryeは対話的な実行環境（REPL）での利用にも焦点を当てており、中間結果を確認しながら開発を進めやすいというメリットもある。

しかし、Ryeはまだ開発途上のプログラミング言語であり、PythonやPandasのように成熟したエコシステムや豊富な機能、安定性を持っているわけではない。現在広く使われている技術をすぐにRyeに置き換えるべきだという話ではない。むしろ、Ryeが提案するTableの抽象化やデータ操作の概念が、将来的にデータ処理の分野にどのような影響を与えるか、そしてあなたのワークフローにどのようにフィットするかを考えるための材料として捉えるべきだろう。PolarsやR言語のDataFrameなど、Ryeと同様の設計思想を持つ他のライブラリや言語も存在しており、データ処理の進化はこれからも続いていく。