【ITニュース解説】Paralelismo em Python para Engenharia de Dados: O Segredo das Tarefas I/O-Bound

Web APIからデータを取得したり、大量のファイルを読み込んだりするプログラムを作成した際、処理が一つずつ進むのをただ眺めているだけ、という経験はないだろうか。このような処理では、コンピュータの頭脳であるCPUは計算に全力を出しているわけではなく、その大半の時間をネットワークからの応答やディスクからのデータの読み込みを「待つ」ことに費やしている。このように、処理速度がCPUの計算能力ではなく、データの入出力（I/O）の待機時間によって決まってしまうタスクを「I/Oバウンド」なタスクと呼ぶ。データエンジニアリングの分野では、このI/Oバウンドなタスクをいかに効率化するかが、システム全体のパフォーマンスを向上させる鍵となる。

最も直感的で基本的なプログラムの書き方は、forループなどを使ってタスクを一つずつ順番に実行する「逐次処理」である。例えば、取得に1秒かかるデータを200個集める場合、逐次処理では単純に「1秒 × 200回 = 200秒」という時間が必要になる。この間、プログラムは1つのデータ取得が完了するまで、次のデータ取得を開始せずにひたすら待ち続ける。CPUはほとんど仕事をしていないにも関わらず、待機時間がそのまま全体の処理時間に加算されてしまうため、これは非常に非効率な状態と言える。

この非効率を解消する考え方が「並行処理」である。ここで、「並列処理」との違いを理解することが重要だ。並列処理とは、複数のCPUコアを使って複数のタスクを物理的に「同時に実行」することを指す。一方、並行処理は、一つのタスクがI/O待ちなどで中断している間に、別のタスクに切り替えて処理を進めることで、複数のタスクを同時に「扱っている」状態を作り出す手法である。I/Oバウンドなタスクでは、まさにこの並行処理が絶大な効果を発揮する。一つのデータ取得リクエストを送信した後、応答を待っている間に、CPUを使って次のリクエストを送信する、という動作を繰り返すことで、待機時間を無駄なく活用し、全体の処理時間を劇的に短縮できる。

Pythonでは、この並行処理を「スレッド」という仕組みを使って実現できる。そして、標準ライブラリである concurrent.futures.ThreadPoolExecutor を利用すれば、複雑なスレッド管理を意識することなく、簡単に並行処理を実装することが可能だ。これは、複数の「作業員（ワーカー）」をプールしておき、タスクが発生するたびに空いている作業員に仕事を割り振るようなイメージである。先ほどの200個のデータ取得の例で、もし16人の作業員（16スレッド）を準備すれば、200個のタスクを16人で分担して同時に進めることができる。理論的には、200個のタスクを16で割った約13回分の時間、つまり約13秒で全ての処理を終えることが可能となり、逐次処理の200秒と比較して圧倒的な高速化が実現できる。

ここで、Python特有の「GIL（Global Interpreter Lock）」という仕組みについて理解しておく必要がある。GILとは、Pythonのプログラムを実行する際、同時に一つのスレッドしか動作できないようにするロック機構のことである。この制約のため、CPUをフルに使う計算処理（CPUバウンドなタスク）では、スレッドを増やしても真の並列処理は実現できず、性能向上は期待できない。しかし、I/Oバウンドなタスクにおいては、このGILが逆に利点として働く。なぜなら、ネットワーク通信やファイルアクセスといったI/O操作を行う際、PythonのスレッドはGILを一時的に「解放」するからだ。つまり、あるスレッドがAPIからの応答を待っている間、そのスレッドはGILを手放し、別のスレッドがCPUを使って次のAPIリクエストを送信する、といった動作が可能になる。これにより、CPUの空き時間を有効に使い、複数のI/O処理を効率的に進行させることができる。スレッドはまさに、このような「待機」を伴う処理を管理するために最適なツールなのである。

プログラムのパフォーマンス改善に取り組む際、まずその処理がCPUの計算能力を使い切っているのか（CPUバウンド）、それともI/Oの待機時間が大半を占めているのか（I/Oバウンド）を分析することが第一歩となる。もし後者であれば、concurrent.futures.ThreadPoolExecutor を用いたスレッドによる並行処理は、比較的少ないコード修正で大きな効果を得られる強力な手法だ。もちろん、扱うデータがメモリに収まらないほど巨大になったり、より複雑なデータ変換が必要になったりした場合は、DaskやSparkといった、より大規模な分散処理を前提としたフレームワークの利用が視野に入ってくる。しかし、多くの日常的なデータ収集・加工タスクにおいては、まず標準ライブラリで実現できる並行処理の知識が、エンジニアとしての大きな武器になるだろう。