【ITニュース解説】vLLM vs TGI vs Ollama: GPU Memory Throughput, PagedAttention & Batching Benchmarks

大規模言語モデル（LLM）が生成する文章の推論処理を効率的に行うための主要な三つのシステム、vLLM、TGI（Text Generation Inference）、Ollamaが詳細に比較された。これらのシステムはそれぞれ異なる強みを持ち、利用シーンに応じて最適な選択肢が変わってくる。システムエンジニアとしてLLMの運用に携わる際、これらの特性を理解することは非常に重要である。

まず、LLMの推論で最も大きな課題の一つが「KVキャッシュ」のメモリ管理である。LLMは文章を一つずつトークン（単語の断片）ごとに生成していくが、その過程で、以前に生成したトークンと現在のトークンの関係性を記憶するために「キー（Key）」と「バリュー（Value）」という情報をGPUメモリに保存する必要がある。このKVキャッシュは非常に大きく、特に長い文章を扱う場合、一つのリクエストだけで数ギガバイトものメモリを消費してしまうことがある。従来のサーバーでは、この最大長さに合わせてメモリを事前に確保するため、ほとんど使われない領域が無駄になり、同時に処理できるリクエスト数が限られてしまう「内部断片化」という問題が発生していた。

このKVキャッシュの問題に対し、vLLMはオペレーティングシステムの仮想メモリ管理技術にヒントを得た「PagedAttention（ページド・アテンション）」という革新的な技術を導入している。これはKVキャッシュを固定サイズの「ブロック」に分割し、必要に応じて物理メモリのブロックを割り当てる方式である。これにより、メモリの断片化を4%未満に抑え、従来の方法に比べて約4.2倍ものシーケンス（リクエスト）を同時にメモリに保持できるようになった。さらに、vLLMは「連続バッチ処理」という手法を採用しており、これは個々のリクエストが完了するたびに、GPUの処理待ちキューからすぐに新しいリクエストをバッチに組み込むことで、GPUの利用率を最大化する。この技術によって、vLLMは高いスループット（単位時間あたりに処理できるトークン数）を実現し、特に多くのリクエストを同時に処理する環境で圧倒的な性能を発揮する。

一方、Hugging Faceが開発したTGIは、Rust製のルーターとPython製のコアサーバーを組み合わせたシステムである。RustルーターがHTTPリクエストの処理、トークン化、キューイング、レートリミットといった前処理を担当し、PythonワーカーがGPUでのバッチ実行を担う。TGIの大きな特徴は、特定の処理パターンに対して「CUDAグラフ」と呼ばれるGPUカーネルの実行シーケンスを事前にキャプチャし、カーネル起動時のオーバーヘッドを削減することである。これにより、単一リクエストの応答速度（Time To First Token; TTFT、最初のトークンが生成されるまでの時間）がvLLMよりも優れている。また、エンタープライズ向けのサポートや、Hugging Faceモデルハブとの連携が強みであり、運用時の安定性や安全性が重視される場合に適している。ただし、GPUリソースの利用はvLLMよりもやや保守的であるため、最大スループットではvLLMに一歩譲る。

Ollamaは、ローカル環境での利用に特化したシステムである。llama.cppというプロジェクトをベースにしており、GGUF形式で量子化されたモデル（メモリ使用量を削減したモデル）をCPUまたはCPUとGPUのハイブリッドで実行する。KVキャッシュの管理は静的なコンテキストバッファを使用しており、vLLMやTGIのような高度なメモリ効率化や連続バッチ処理の仕組みは持っていない。そのため、複数のリクエストを同時に処理する性能は非常に低く、サーバーレベルの同時接続には全く向いていない。その代わり、開発者の手元で簡単にLLMを動かすための使いやすさや、コンシューマー向けGPUでの実行に優れており、ローカル開発やプロトタイピング、個人利用といった用途では非常に強力なツールとなる。

ベンチマーク結果を見ると、Llama-3-8Bモデル（fp16）で65の同時リクエストを処理した場合、vLLMが3,480トークン/秒と最も高いスループットを達成し、TGIが2,910トークン/秒、Ollamaが96トークン/秒であった。単一ストリームのTTFTではTGIが161ミリ秒と最も速く、vLLMが182ミリ秒、Ollamaが310ミリ秒（GPU利用時）という結果が出ている。メモリ効率に関しても、vLLMのPagedAttentionが約4.2倍のシーケンスを収容できるのに対し、TGIは約3.6倍、Ollamaは静的バッファのため比較対象外である。

運用面では、vLLMはメモリが枯渇した際に既存のシーケンスを一時的に中断し、別のシーケンスにGPUリソースを割り当てる「プリエンプション」を行うが、これが頻発するとかえってスループットが大きく低下する可能性があるため、適切なメモリ利用率の設定が重要である。TGIは、モデルの種類（例えばVision-Languageモデルなど）によってはメモリの消費パターンが異なり、想定外のOOM（メモリ不足）を引き起こす可能性があるため、バッチサイズの設定に注意が必要だ。Ollamaは、一定時間アイドル状態が続くとモデルがメモリからアンロードされるため、次のリクエストでモデルの再ロードが発生し、コールドスタートの遅延と過去の会話コンテキストのリセットが発生する点に留意する必要がある。

結論として、これらの三つのシステムは互いに代替できるものではなく、それぞれの役割が明確である。vLLMは、最高のGPUあたりトークン生成性能とメモリ効率を誇り、大量の同時リクエストを高速に処理したいプロダクション環境におけるデフォルトの選択肢となる。TGIは、堅牢な運用性、組み込みのレートリミット、そしてエンタープライズサポートを求める場合に最適であり、安定性とサポートを重視する大規模な商用サービスに適している。Ollamaは、ローカル開発、プロトタイピング、個人利用といった場面で比類ない使いやすさを提供するが、同時実行が求められるプロダクション環境での利用は避けるべきである。システムエンジニアとしてLLMのインフラを構築する際には、これらの特性とベンチマーク結果を参考に、プロジェクトの要件に最も合致するシステムを選択することが成功の鍵となる。