【ITニュース解説】One Weekend, One Language: My Crash Course in Python Concurrency

記事は、Pythonの並行処理について週末に集中的に学習した経験を述べている。この「並行処理」とは、コンピューターシステムが複数のタスクを同時に、あるいは同時に実行しているように見せかけ、全体の処理効率を高める技術だ。特に、現代のソフトウェア開発では、ユーザーからの多様な要求に迅速に応答したり、膨大なデータを効率良く処理したりするために、この並行処理の概念が不可欠となっている。

まず、並行処理を理解する上で重要なのは、「並列処理」との違いを明確にすることだ。並列処理は、複数のタスクが文字通り物理的に同時に実行されることを指す。例えば、複数のCPUコアを持つプロセッサが、それぞれのコアで異なる処理を同時に進めるような場合だ。これに対し、並行処理は、複数のタスクが互いに干渉することなく、まるで同時に進行しているかのように見える状態を指す。これは、一つのCPUコアでも実現可能で、タスク間で処理の実行権を高速に切り替えることで、あたかも複数のタスクが並行して進んでいるかのように振る舞わせる技術だ。例えば、インターネットからファイルをダウンロードしている最中に、別のアプリケーションで文書を編集するといった状況がこれに当てはまる。ファイルダウンロード中のネットワークI/O待ち時間など、CPUがアイドル状態になる時間を利用して、別の処理を進めることで、全体としてシステムを効率的に利用できる。

Pythonで並行処理を実現する主な方法としては、「スレッド（threading）」「マルチプロセス（multiprocessing）」「非同期I/O（asyncio）」の三つが挙げられる。

一つ目の「スレッド」は、一つのプログラム内で複数の実行の流れ（スレッド）を作り、それぞれが異なる処理を実行する方式だ。これにより、例えばウェブサーバーが複数のクライアントからのリクエストを同時に受け付け、処理を進めるといったことができる。Pythonにはthreadingモジュールが用意されており、これを利用してスレッドを生成し管理する。しかし、Pythonのスレッドには「Global Interpreter Lock（GIL）」という特有の制約がある。GILは、一度に一つのスレッドしかPythonのバイトコードを実行できないようにする仕組みだ。このため、たとえ複数のCPUコアを持つコンピューターであっても、Pythonのコードが実行されている限り、真の並列実行はできない。GILはPythonインタプリタ内部のデータ構造の整合性を保つために導入されたが、計算処理のようにCPUを大量に使う「CPUバウンド」な処理においては、スレッドを使っても処理速度の向上が期待しにくいという側面がある。一方で、ネットワーク通信やファイルアクセスといった「I/Oバウンド」な処理（I/Oの完了を待つ時間がボトルネックとなる処理）では、Pythonインタプリタが外部の処理を待つ間にGILを解放できるため、スレッドは非常に有効な手段となる。例えば、複数のウェブサイトからデータを並行してダウンロードするような場面では、スレッドを利用することで全体の処理時間を大幅に短縮できる可能性がある。

二つ目の「マルチプロセス」は、プログラムを複数の独立したプロセスとして実行する方法だ。各プロセスはそれぞれ独立したメモリ空間を持ち、独立したPythonインタプリタを持つため、GILの制約を受けない。Pythonではmultiprocessingモジュールを使うことで、複数のプロセスを容易に生成・管理できる。このアプローチは、CPU集約的な処理において、複数のCPUコアを最大限に活用し、真の並列実行を実現するのに適している。例えば、複雑な数値計算や大量のデータ解析など、CPUに大きな負荷がかかるタスクを複数同時に処理する必要がある場合、マルチプロセスは非常に強力なツールとなる。ただし、プロセス間でのデータ共有は、スレッドの場合よりも複雑になり、明示的なプロセス間通信の仕組み（例えばキューやパイプなど）を用いる必要がある。また、プロセスの生成はスレッドの生成に比べてオーバーヘッド（追加でかかるコスト）が大きいというデメリットもある。

三つ目の「非同期I/O」は、asyncioモジュールを通じて実現される、シングルスレッド、シングルプロセスの中で並行性を実現するアプローチだ。従来の同期的なプログラミングでは、I/O処理（例えばデータベースからのデータ取得やネットワーク通信）が完了するまで、プログラムの実行がそこで停止してしまう。しかし、非同期I/Oでは、I/O処理の完了を待っている間に、CPUを解放して別のタスクを実行できる。これは「イベントループ」と呼ばれる仕組みによって制御され、asyncおよびawaitキーワードを使って非同期処理を記述する。async関数（「コルーチン」と呼ばれる）は、awaitキーワードでI/O処理の完了を待つ際、一時的に実行を中断し、CPUを他のタスクに明け渡す。I/O処理が完了すると、イベントループがそのコルーチンの実行を再開させる。この方式は、特に大量のI/Oバウンドな処理を効率的に処理するのに優れている。例えば、多数のクライアントからのウェブサービスリクエストを同時に処理するウェブサーバーや、多くのAPIエンドポイントに並行してリクエストを送信するタスクなどに非常に有効だ。GILの影響を受けないため、スレッドよりも効率的にI/Oバウンドな並行処理を実現できることが多い。しかし、非同期I/OはCPU集約的な処理には向かない。なぜなら、全ての処理が基本的に一つのスレッドで実行されるため、一つでも重い計算処理があると、その計算が終わるまでイベントループ全体がブロックされ、他の非同期タスクも待機状態になってしまうからだ。

記事が週末にこれらの技術を学ぶというアプローチを取ったのは、短期間で各概念と基本的な使い方を把握することが目的だったと推測される。完璧な専門家になることよりも、まずは全体像を掴み、それぞれの技術がどのような問題に適しており、どのような限界があるのかを理解することが、システムエンジニアを目指す上で非常に重要だ。

これらの異なる並行処理の手法は、それぞれ得意な分野と苦手な分野があるため、開発するシステムの特性や要件に応じて適切に選択する必要がある。CPU集約的な処理にはマルチプロセス、I/Oバウンドな処理にはスレッドか非同期I/O、特に大量のI/O処理を効率的に捌く場合は非同期I/Oが強力な選択肢となる。Pythonにおける並行処理は、一見複雑に感じられるかもしれないが、それぞれの概念と仕組みを段階的に理解していくことで、より高性能で応答性の高いシステムを構築するための強力な知識となる。