【ITニュース解説】built fasterpc bc i was frustrated with the usual distributed service comms, no more rest apis, or heavy MQs

分散システムは、現代のソフトウェア開発において不可欠な技術である。これは、複数のコンピュータやプログラムが連携し、全体として一つの大きな機能を提供するシステムを指す。このような分散システムでは、異なるサービス（プログラムの部品）同士が効率的に情報をやり取りする「通信」が非常に重要となる。しかし、この通信方法は長年の間、様々な課題を抱えてきた。今回紹介する「fasterpc」は、従来の通信方法が抱える不満を解消するために開発された新しい通信ライブラリである。

これまで、分散システム間の通信には主に二つの主要なアプローチが使われてきた。一つはREST API、もう一つはメッセージキュー（MQ）である。

REST APIは、Webサービスで最も広く利用されている通信方式だ。これは、Webブラウザがウェブサイトを閲覧するのと同じHTTPプロトコルを基盤とし、クライアントがサーバーに要求（リクエスト）を送り、サーバーが応答（レスポンス）を返すという形でデータがやり取りされる。この方式にはいくつかの問題点があった。例えば、クライアントがサーバーの最新情報を常に把握するためには、定期的にサーバーに問い合わせを繰り返す「ポーリング」が必要になる場合がある。これは無駄な通信を発生させ、リアルタイム性が求められるシステムでは情報の更新に遅延が生じる原因となる。また、HTTP通信には、実際のデータだけでなく、ヘッダー情報など通信に必要な付随情報が多く含まれるため、通信のオーバーヘッドが大きく、処理速度のボトルネックになることもあった。さらに、通信の成功や失敗を示すHTTPステータスコード（例：200 OK、404 Not Found）を適切に管理する手間も開発者にかかる。

もう一つのアプローチであるメッセージキューは、サービス間の「非同期通信」を実現するための強力な仕組みである。これは、あるサービスが送信したメッセージを、別のサービスが直接受け取るのではなく、メッセージキューという一時的な保管場所に預ける形を取る。受信側のサービスは、都合の良いタイミングでキューからメッセージを取り出して処理できる。この方式の大きな利点は、サービス同士が直接的に依存しない「疎結合」な関係を築ける点や、送信側と受信側の処理速度が異なっても、メッセージキューがメッセージを保持してくれるため、システム全体の安定性が向上する点にある。しかし、fasterpcの開発者は、単純な同期的なサービス間通信において、メッセージキューは「アーキテクチャのオーバーキル」、つまり必要以上に複雑で大規模な仕組みであると指摘する。メッセージキューシステムの導入や運用には手間とコストがかかる「ヘビーウェイト」な側面があり、多くの開発者はシンプルなHTTP通信で済ませてしまう傾向があった。

さらに、既存のRPC（Remote Procedure Call）ソリューションも検討対象だった。RPCは、別のコンピュータ上にあるプログラムの関数を、あたかも自分のコンピュータにある関数を呼び出すかのように扱える技術である。しかし、Googleが開発したgRPCのような高性能なRPCフレームワークは、その設定や運用が複雑で「ヘビーウェイト」と評されることがあり、特に双方向のリアルタイム通信を実装しようとすると、さらに複雑さが増すという課題があった。

こうした従来の通信方法が抱える問題点や不満を解消するために開発されたのが「fasterpc」である。

fasterpcの技術的な核は、WebSockets上でJSON-RPCプロトコルを利用した「双方向通信」にある。WebSocketsは、一度サーバーとクライアント間で接続が確立されると、その接続を維持したまま、いつでも自由にデータを送受信できるプロトコルだ。これは、Webサイトの閲覧に使われるHTTPプロトコルとは異なり、常時接続が維持されるため、リアルタイム性の高い通信に非常に適している。JSON-RPCは、JSON（JavaScript Object Notation）というデータ形式を用いて、関数呼び出しとその応答を記述するシンプルなプロトコルであり、軽量で扱いやすい。fasterpcは、これらの技術を組み合わせることで、異なるマシン上にあるプログラムのメソッドを、あたかもローカルの関数を呼び出すかのような、非常にシンプルな構文で呼び出せるようにした。これは開発者にとって大きな利点であり、分散システムの開発を大幅に簡素化する。

fasterpcには、分散システムの開発者が直面する一般的な課題を解決するための多くの機能が組み込まれている。

まず、「双方向通信」が挙げられる。通常のクライアント/サーバーモデルでは、クライアントが要求し、サーバーが応答するという一方的なデータの流れが基本だが、fasterpcではクライアントとサーバーのどちらからでも、相手の公開されたメソッドを呼び出すことができる。これにより、より柔軟でインタラクティブなサービス連携が可能となる。

次に、「言語非依存プロトコル」である。Python、Node.js、Go、Rustなど、異なるプログラミング言語で書かれたサービス間でも、fasterpcを使えばシームレスに通信できる。これは、様々な技術が混在する分散システムを構築する際に非常に重要な機能となる。

さらに、システムを堅牢（頑丈で壊れにくい）にするための機能も充実している。fasterpcは「自動接続プール」を備えており、ネットワーク接続を効率的に管理する。また、一時的なネットワーク障害が発生した場合でも、自動的に再試行を試みる「指数関数的バックオフ再試行ロジック」が組み込まれており、システム全体の信頼性を高める。接続の健全性を常に監視し、問題が発生すれば自動的に再接続を試みる「接続ヘルスモニタリングと自動再接続」機能も備わっているため、開発者が手動で接続管理を行う手間が省ける。

パフォーマンス面でも、開発者のテスト環境では、プロダクション環境において19回/秒以上の安定した呼び出しを100%の成功率で実現しており、さらなる最適化の余地もあるという。また、テキストデータだけでなく、画像や音声のような「バイナリデータ転送」もサポートしており、カスタムのシリアライズ（データを通信可能な形式に変換する）ハンドラを使用することで、複雑なオブジェクトのやり取りにも対応できる。

fasterpcは、特にAI OS「Bodega」というプロジェクトで実際に利用され、その効果が実証されている。Bodegaは、複数のマシンにまたがる80以上の同時並行プロセスを抱える大規模なAIシステムであり、テキスト抽出、高速フーリエ変換オーディオプロセッサ、画像アップスケーリングモデル、音声文字変換エンジン、OCR（光学文字認識）パイプライン、感情分析ワーカー、翻訳サービス、コンテンツレコメンデーションエンジンといった、多種多様な専門的なマイクロサービスが連携して動作する。これらのサービスは、HTTPリクエストサイクルのオーバーヘッドや、非同期メッセージングの複雑さなしに、同期的に（リアルタイムに）通信する必要がある。fasterpcは、接続の切断、複数のワーカーインスタンス間の負荷分散、リクエストタイムアウト、複雑なオブジェクトのカスタムデータシリアライズといった、分散システム特有の課題を特別な設定なしで処理できるため、Bodegaのようなリアルタイム性の高い分散AIシステムで大きな効果を発揮している。

fasterpcはまだ開発の初期段階にあるものの、すでに実際のAI OSのプロダクション環境で多くのトラフィックを処理し、その有効性が実証されている。これは、シンプルで高速なHTTP通信と、機能が複雑になりがちなメッセージブローカーの間に存在するギャップを埋める、新たな分散システム向け通信ソリューションとして期待されている。リアルタイムで双方向の通信を必要とするシステムにとって、fasterpcは非常に魅力的な選択肢となるだろう。