【ITニュース解説】DeepSeek Open-Sourced the Engine Behind Its API. It Ships Without a KV Cache System

DeepSeekが、自社のAPIを裏側で支える大規模言語モデル（LLM）の推論エンジン「DeepInfer」をオープンソースソフトウェアとして公開した。このエンジンは、LLMがユーザーからの質問を受けて応答を生成する、つまり「推論」を行うためのソフトウェアの中核部分にあたる。高性能な推論サービスを構築する上で非常に重要な要素となるが、今回の公開版には、完全なサービス提供に必要ないくつかの機能が含まれていない点が注目されている。

DeepInferの今回のリリースに含まれるのは、DeepSeek-V4.1-Flashというモデルに特化した推論のコア機能だ。このモデルはDeepSeekの公式APIで「deepseek-flash」として提供されているもので、巨大なパラメータ数を持つ。エンジン内部には、DeepSeekが独自に開発した「FlashMLA」や「DeepGEMM」といった高性能なカーネルライブラリが多数組み込まれており、効率的なデータ処理を可能にしている。また、複数のGPUやサーバーを連携させて大規模なモデルの推論を高速化するための「アテンションデータ並列」や「コンテキスト並列」、複数の専門モデル（エキスパート）を効率的に利用する「MoEエキスパート並列」などの高度な並列処理技術も搭載されている。さらに、出力形式を正規表現やJSONスキーマ、EBNF文法といった特定のルールに沿って生成する「構造化出力」の機能も提供されており、開発者がLLMの出力をプログラムで扱いやすくするのに役立つ。このエンジンは、他の著名な推論フレームワークであるvLLMやSGLang、TensorRT-LLMから着想を得て開発されたという背景も持つ。

しかし、今回のDeepInferのリリースには、「完全な推論サービス」として大規模運用を行う上で不可欠な三つのシステムが含まれていない。これらはシステムエンジニアを目指す上で理解しておくべき重要な概念だ。

一つ目は「KVキャッシュシステム」である。LLMが長い会話の履歴や、システムに指示を与えるプロンプト（システムプロンプト）のような、比較的変化の少ない情報を処理する場合、その情報をモデルが「理解」するために多くの計算リソースが必要となる。KVキャッシュシステムは、一度計算されたこれらのコンテキスト情報を一時的に保存し、その後に続くリクエストで同じ情報が必要になった際に、再計算することなく保存済みのデータを再利用する仕組みだ。これにより、計算コストを大幅に削減し、応答速度を向上させることができる。DeepInferにこのシステムが搭載されていない場合、リクエストのたびにプロンプト全体の計算をゼロから行う必要があり、特に長いコンテキストを持つリクエストでは、パフォーマンスの低下や運用コストの増大に直結する。

二つ目は「プリフィル/デコードの分離」だ。LLMの推論プロセスは、ユーザーからのプロンプト全体をモデルに読み込ませる「プリフィル（またはエンコード）」段階と、それに基づいてモデルが単語やトークンを一つずつ生成して応答を組み立てる「デコード」段階に大きく分けられる。これら二つの段階は、GPUに対する負荷の特性が異なる。例えば、プリフィルは大量のデータを一度に処理するため高いメモリ帯域幅を必要とし、デコードは短いデータを繰り返し生成するため高い演算能力を必要とすることがある。そのため、大規模なサービスでは、これらの特性に合わせて、プリフィル用とデコード用に最適化された異なるGPUのプール（集まり）を用意し、それぞれを分離して処理することで、全体の処理効率（スループット）を最大化する。DeepInferは、この分離に必要な内部機能の多くをすでに実装しているとされているが、実際にシステムとして分離して運用するための「配線」や制御の仕組みは、今回のリリースには含まれていない。

三つ目は「データ並列レプリカ間のロードバランシング」である。実際のサービス環境では、ユーザーからの大量のリクエストに対応するため、推論エンジンを複数台のサーバーやGPUで並行して稼働させる必要がある。ロードバランシングシステムは、これらの複数の推論エンジンに対して、外部から来るリクエストを公平かつ効率的に分散して振り分ける役割を担う。これにより、特定のサーバーに負荷が集中するのを防ぎ、サービス全体の安定稼働と応答速度を保証する。今回のDeepInferのリリースには、このリクエストを適切に振り分ける仕組みは含まれていないため、自身で構築するか、既存のロードバランサーと連携させる必要がある。

DeepInferの動作環境は、NVIDIAの最新GPUであるSM100（B200やGB200など、いわゆる次世代のGPU）や、HuaweiのAscend 950 NPUといった、非常に高性能で比較的新しいハードウェアに限定される点も重要だ。古い世代のNVIDIA GPU（例えばHopper世代以前のチップ）では動作しないため、利用できる環境は限られている。このエンジンの性能については、DeepSeek自身の測定結果が公開されているが、プリフィルに4基、デコードに64基のSM100 GPUを使用している大規模な検証環境であり、外部による独立したベンチマークはまだ行われていない。

これらの「含まれていない」機能は、DeepInferが単一のモデルを高性能に実行するコア技術を提供する一方で、それを実際のユーザーに提供する「サービス」として成り立たせるためには、周辺システムを構築する責任が利用者側にあることを意味している。

DeepInferには、他にも興味深い技術的なアイデアが盛り込まれている。一つは「再現性」だ。同じ入力とサンプリング条件を与えれば、異なるバッチ処理の組成であっても、常に全く同じ出力を生成できる機能がある。これは、LLMの評価やデバッグにおいて非常に重要で、環境要因によって結果が変動する問題を解決し、評価の信頼性を高める上で役立つ。もう一つは「deepseek-recipe」というPythonライブラリだ。これは、DeepSeek V4およびV4.1モデルのプロンプトを公式APIと同じ形式で整形し、モデルの出力をAPI応答形式に解析するためのツールだ。DeepInfer以外のエンジンでDeepSeekモデルを運用する場合でも、プロンプトの形式を確実に合わせるために活用できる。

今回のDeepInferのオープンソース化は、主に二つのグループに大きな影響を与える可能性がある。一つは、DeepSeekのモデルを自身のサーバーで運用しているクラウドプロバイダーやホスティング企業だ。彼らはDeepSeekが実際に大規模サービスで利用しているのと同じコア技術を手に入れ、運用コストの削減や性能最適化の可能性を探ることができる。もう一つは、vLLMのような他の高性能推論フレームワークのユーザーだ。DeepInferの技術的アイデアがvLLMに取り込まれる計画があるため、vLLMユーザーは間接的にDeepInferの恩恵を受けられる可能性がある。一方、DeepSeekのAPIを利用しているエンドユーザーのコードには直接的な変更は発生しない。ただし、米国政府機関がDeepSeek製品をシステムから削除するよう命令を出している背景があり、米国政府関連のプロジェクトに関わるチームは、ライセンスがオープンソースであっても、法的な観点から慎重な検討が必要となる。

結論として、DeepInferはDeepSeekの大規模サービスを支える高性能な推論エンジンのコア部分を提供することで、LLMの推論技術の発展に寄与する。しかし、これを「サービス」として実際に運用するには、KVキャッシュシステムやプリフィル/デコードの分離、ロードバランシングといった、システム設計における重要な課題を解決し、周辺システムを構築する必要がある。これは、システムエンジニアを目指す者にとって、高性能なコンポーネントを基盤として、いかに堅牢で効率的なサービスを構築するかという、実践的な設計能力が問われる場面となる。