【ITニュース解説】Get Started with Fastest SQL Query Engine - Presto C++ (Prestissimo): Beginner Friendly Setup Guide with Docker.

ニュース記事は、大規模なデータ分析に用いられるSQLクエリエンジンPrestoの性能を飛躍的に向上させる「Prestissimo」について、システムエンジニアを目指す初心者でも簡単に体験できるよう、Dockerを使ったセットアップ方法を解説している。Prestissimoは、Metaが開発したVeloxという高性能ライブラリを基盤とするC++製のPresto Workerであり、従来のJava製Workerの代替として導入されたもので、分散データ分析における画期的な進化をもたらす。

まず、Prestoの基本的な役割を理解する必要がある。Prestoは、HDFSやAmazon S3、各種データベースなど、さまざまな場所に分散して保存されている膨大なデータに対して、高速にSQLクエリを実行するためのエンジンである。これにより、データがどこにあっても一貫した方法で分析でき、データレイクやデータウェアハウスの活用を容易にする。Prestoの内部構造は、「Coordinator」と「Worker」という二つの主要な役割を持つノードで構成されている。CoordinatorはSQLクエリを受け取り、その実行計画を立て、クエリを小さなタスクに分解してWorkerノードに分配する。一方、Workerノードは実際にデータを読み込み、処理し、その結果をCoordinatorに返す役割を担っている。

Prestissimoの登場は、このWorkerノードの大きな進化を意味する。従来のPresto WorkerはJavaで実装されていたが、PrestissimoはC++でネイティブに実装されている。このC++への移行の背景には、Meta（旧Facebook）が開発しオープンソース化した高性能C++データベース高速化ライブラリVeloxの存在がある。Veloxは、データ型の表現、演算子、I/O処理など、データ処理のさまざまな側面を高速化するためのモジュール群を提供しており、PrestissimoはそのVeloxの上に構築されることで、データ処理能力を最大限に引き出す。

C++への移行がもたらすメリットは非常に大きい。第一に「圧倒的なパフォーマンス向上」が挙げられる。C++はJavaと比較して、CPUの低レベルな操作により直接アクセスできるため、より効率的な命令を実行できる。Prestissimoは、この特性を活かし、複数のデータをまとめて一度に処理する「ベクタライゼーション」や、一つの命令で複数のデータを同時に処理するCPUの特殊な命令である「SIMD (Single Instruction, Multiple Data)」などを積極的に活用する。これによりCPUの利用効率が劇的に向上し、クエリの実行時間が大幅に短縮される。実際の運用環境では、同等の処理能力を得るために必要なサーバー台数が約3分の1にまで削減された事例も報告されており、コスト削減にも寄与する。

第二に「Javaガベージコレクション（GC）問題の解消」というメリットがある。Javaアプリケーションでは、不要になったメモリ領域を自動的に解放するガベージコレクションが定期的に実行される。大規模なデータ処理中にGCが作動すると、一時的に処理が停止したり（ポーズ）、システム全体のパフォーマンスが予測不能に低下したりする問題があった。PrestissimoはJVM（Java Virtual Machine）の外部でC++として実行されるため、このJava GCによるパフォーマンスへの影響を完全に排除できる。これにより、クエリの実行時間がより安定し、予測可能なものとなる。

第三に「明示的なメモリ制御」が可能になる点も重要だ。Veloxのメモリ管理フレームワークは、メモリの割り当てと解放をより細かく制御できる機能を提供する。JavaのJVMは自動的にメモリを管理するが、Veloxはシステムエンジニアがメモリの使用状況をより直接的に管理・最適化できる手段を提供する。これにより、リソースの消費をより効率的に管理し、大規模なデータ処理における安定性をさらに高めることが可能となる。

このような高性能なPrestoクラスタを、システムエンジニアを目指す初心者でも簡単に構築できるように、記事ではDockerを活用したセットアップ方法を紹介している。Dockerは、アプリケーションとその実行に必要な環境（ライブラリ、設定ファイルなど）を「コンテナ」と呼ばれる独立したパッケージにまとめて実行する技術である。これにより、異なるOSや開発環境でも同じようにアプリケーションを動かすことができ、環境構築の手間と複雑さを大幅に削減できる。

セットアップ手順はいくつかのステップで構成されている。まず、presto-labという作業用ディレクトリを作成し、その中にCoordinatorとWorkerのそれぞれが使う設定ファイルを配置するためのサブディレクトリを作成する。

Coordinatorの設定では、coordinator/etc/config.propertiesというファイルで、そのノードがCoordinatorとして機能すること、WorkerがCoordinatorを見つけるためのディスカバリーサービスを有効にすること、そしてHTTPサーバーのポート番号（8080番）を設定する。coordinator/etc/jvm.configには、Java 17環境でPrestoが最適に動作するためのJava仮想マシンの設定オプションが記述されている。これには、アプリケーションに割り当てる最大メモリ量（-Xmx1G）や使用するガベージコレクションの種類などが含まれる。coordinator/etc/node.propertiesでは、ノードの環境名やデータ保存ディレクトリを定義する。さらに、coordinator/etc/catalog/tpch.propertiesで、TPCHコネクタという、テスト用の仮想データセットを提供する機能を有効にする。これにより、実際のデータを用意しなくてもクエリのテストが可能になる。

次にPrestissimo Workerの設定を行う。基本的にCoordinatorと同様に設定ファイルを作成するが、内容はWorkerの役割に合わせて変更される。worker-1/etc/config.propertiesでは、WorkerがCoordinatorのディスカバリーサービスに接続するためのURI（http://coordinator:8080）を指定する。ここでcoordinatorという名前が使われるのは、Dockerコンテナ同士が内部ネットワークで名前解決をして通信できるように設定するためである。worker-1/etc/node.propertiesでは、Workerのノード環境や、ネットワーク内で自身を識別するための内部アドレスを定義する。worker-1という内部アドレスは、Dockerコンテナの名前と一致させることで、信頼性の高いクラスタへの登録を可能にする。Workerもクエリ実行のためにworker-1/etc/catalog/tpch.propertiesでTPCHコネクタを設定する。記事では複数のWorkerを設定するため、このWorker設定を繰り返すことが示されている。

これらの設定ファイルが全て準備できたら、docker-compose.ymlというファイルをpresto-labディレクトリの直下に作成する。このファイルは、複数のDockerコンテナ（ここではCoordinatorと2つのWorker）をまとめて定義し、それらの連携方法を設定して一括で起動・管理するためのものだ。servicesセクションで、coordinatorとworker-1、worker-2の3つのサービス（コンテナ）を定義する。imageプロパティでは、各サービスが使用するDockerイメージを指定する。coordinatorには標準のJava版Prestoイメージ（presto:latest）を、worker-1とworker-2にはC++版Prestissimoイメージ（presto-native:latest）を使用する。platform: linux/amd64という設定は、Apple Silicon搭載のMacユーザーがIntel互換のイメージで実行するために重要となる。portsでは、ホストOSとコンテナのポートマッピングを行い、volumesではローカルで作成した設定ディレクトリをコンテナ内の適切なパスにマウントして、コンテナが設定ファイルを読み込めるようにする。depends_on: - coordinatorという設定は、WorkerコンテナがCoordinatorコンテナが起動した後に起動するように依存関係を設定する。

すべての設定が完了したら、ターミナルでdocker compose up -dコマンドを実行することで、定義されたすべてのコンテナがバックグラウンドで起動し、Prestoクラスタが構築される。クラスタが正しく動作しているかは、Webブラウザでhttp://localhost:8080にアクセスしてPrestoの管理画面を確認できる。ここでは、アクティブなWorkerノードの数（Coordinator含め3つ）が表示されるはずだ。さらに、Prestoクライアントからselect * from system.runtime.nodes;というSQLクエリを実行することで、クラスタに参加しているすべてのノード（CoordinatorとWorker）の詳細な状態とメタデータを確認できる。

このように、PrestissimoはPrestoのデータ処理能力をC++とVeloxによって劇的に向上させ、大規模データ分析の効率と安定性を高める革新的な技術である。Dockerのようなコンテナ技術を活用することで、このような複雑な分散システムでも、システムエンジニアを目指す初心者でも比較的簡単に環境を構築し、その高性能を実際に体験することが可能になる。これは、分散処理、高性能コンピューティング、そして現代のインフラ技術であるコンテナについて学ぶための非常に良い機会となるだろう。