【ITニュース解説】Self-Hosted LLM vs API Cost: Below $10.5K a Month, an H200 Node Can't Beat the API

大規模言語モデル（LLM）の活用が広がる中で、その利用方法には大きく分けて二つの選択肢がある。一つは、OpenAIやAnthropicなどのサービス提供会社がインターネット経由で提供するLLMをAPI（Application Programming Interface）として利用する方法だ。もう一つは、自社のデータセンターやサーバーにLLMを構築し、自社で運用（Self-Hosted）する方法である。どちらの方式がコスト効率に優れているのか、という点は多くの企業や開発者にとって重要な検討事項となっている。

最近、IBMのCEOが投資家向けに、誰もが利用できる形で公開されているオープンウェイトモデルが、最先端の商用モデル（フロンティアモデル）と比較して、トークンあたりのコストが25%〜10%程度と大幅に安価であり、その性能も90%程度まで向上していると述べた。さらに、実用的なAI環境は2つか3つのサーバーラックがあれば構築できるという見解を示し、自社運用のメリットを強調した。

この記事の筆者は、IBM CEOの発言が実際にコスト面で成り立つのかを検証するため、公開されているGPUの価格、電力料金、LLMの処理速度を示すベンチマークデータ、そして各LLMのAPI料金といった具体的な数値を収集し、詳細なコスト計算を行った。その検証の結果、月額約10,500ドル以下のAPI利用料であれば、自社運用（特にNVIDIA H200のような高性能GPUを搭載したサーバーの場合）は採算が合わないという結論が提示された。

まず、自社運用の場合のコストを具体的に見ていく。NVIDIA H200という高性能GPUを8基搭載したサーバーを新たに購入する場合、その価格は約34万ドルとなる。これを36ヶ月で分割して支払うと、月額約9,444ドルのハードウェア費用がかかる計算だ。加えて、このサーバーの消費電力は10.2キロワットにもなり、月間の電力料金は約1,063ドルと見積もられた。これらの費用を合計すると、サーバー本体と電力費だけで月額約10,507ドルの固定費用が発生する。これは、サーバーの設置場所（コロケーション）、ネットワーク費用、予備部品、そして最も重要な運用に関わる人件費を一切含んでいない金額である。

次に、API利用のコストについて、主要なLLMのAPI価格が比較された。例えば、Claude Opus 5.5の入力トークン100万件あたり4ドル、出力トークン100万件あたり20ドルという価格がある。これに対し、DeepSeek V4 Proのオフピーク料金では、入力トークン100万件あたり0.66ドル、出力トークン100万件あたり1.98ドルと、はるかに安価な選択肢も存在する。IBM CEOが述べた「10-25%のコスト」という言及は、最も高価なAPIモデル（Claude Opus 5.5など）と比較した場合に当てはまるが、より安価な中間層のAPIモデルと比較すると、この比率は変わってくることが指摘された。

自社運用ノードがどれくらいのトークンを生成できるかという処理能力もコスト効率に直結する。ベンチマークによると、H200ノード1台がチューニングされていない状態でDeepSeek-V3モデルを実行した場合、1秒間に約2,864出力トークンを生成できる。これを1ヶ月間フル稼働させると、約74.2億出力トークンを生成できる計算になる。しかし、専門的なチューニングや大規模な並列処理を行った場合には、1ノードあたり1秒間に22.3k出力トークンという、はるかに高いスループットを達成することも報告されており、運用方法によって処理能力が大きく異なる。

これらの情報をもとに、自社運用ノードの月額固定費約10,507ドルと、APIで同量のトークンを処理した場合の費用を比較し、自社運用が採算を取るために必要なノードの「利用率」が計算された。例えば、最も高価なClaude Opus 5.5のAPIと比較した場合、自社ノードはわずか5.9%の利用率で損益分岐点に達する。これは、自社運用が圧倒的に有利に見える数字だ。しかし、比較的安価なDeepSeek V4 Proのオフピーク料金と比較すると、53.6%という高い利用率を達成しなければ、API利用よりもコストが高くなってしまう。つまり、常にハードウェアをフル稼働に近い状態で維持できるならば自社運用はメリットがあるが、利用率が低い時間帯が多いと、API利用の方が経済的になる。

自社運用には、単純なハードウェアと電力のコストだけでなく、さらに大きな課題がある。特に小規模なチームや、現在のAPI利用料が月額約10,507ドルを下回っている場合は、自社運用がコスト的に不利になることが明確に示された。これに加えて、自社運用には、サーバーの設置、ソフトウェアのインストール、モデルのデプロイ、システムの監視、トラブルシューティングなど、インフラを構築し、運用、メンテナンスを行う専門のエンジニアが必要となる。IBMのCEO自身も「カーネルエンジニアはどこにいる？ネットワークを心配する人々はどこに？」と発言しており、人件費が大きなコスト要因となることを示唆している。もし、ノード自体の月額コストと同程度の人件費がかかる場合、自社運用の損益分岐点は約21,000ドル/月まで跳ね上がると見積もられており、単純なハードウェア費用だけでは判断できない、より複雑な問題が存在する。多くの小規模開発者や企業は、自社で高価なGPUリグに数万ドルを投資することが難しいと感じている。彼らは、プライバシー保護やトークン制限がないこと、モデルが回答を拒否しないことなどを自社運用のメリットとして挙げるが、コスト面で有利だと主張する声は少ない。

一方、高性能なサーバーノードとは異なり、個人開発者向けのGPU（例えばNVIDIA RTX 5090）を1枚導入する場合のコストは大きく異なる。RTX 5090カード自体の費用は、36ヶ月で分割すると月額約103ドル、これに電力費用を加えても月額約117ドル程度となる。この程度の費用であれば、エージェント型のコーディング支援など、大量の入力トークンを消費するような作業で発生するAPI利用料を節約できる可能性がある。例えば、月額117ドル分のAPI利用料は、Claude Sonnet 5.5では5,800万入力トークンに相当する。しかし、個人向けのローカルモデルは、ClaudeやChatGPTのような最先端の商用モデルと比較して、生成されるテキストの品質が劣る、あるいは「ノイズが多い」といった課題も指摘されている。

このような状況を踏まえ、GPUの導入を検討する前にいくつかの重要なステップを踏むべきだと提案されている。まず、過去のAPI利用料をモデルの種類ごとに詳しく確認し、高価なモデル（SonnetクラスやOpusクラス）の利用分を置き換える場合にのみ、自社運用を真剣に検討するべきだ。次に、実際にクラウドサービスなどで高性能GPUノードを時間単位でレンタルし、自身の特定のワークロードやプロンプトの形状で性能ベンチマークを行い、正確な処理能力とコストを把握することが重要だ。また、公開されているベンチマークスコアや「90%の性能」といった言葉に頼るだけでなく、利用を検討しているオープンモデルが自身のビジネスやタスクをどれだけ正確に、そして効率的に処理できるかを独自に評価する必要がある。そして、自社運用ノードの月額固定費用を、APIで同量のトークンを処理した場合の費用で割ることで、自社運用が採算を取るために必要なノードの「利用率」を計算し、その利用率を実運用で継続的に達成できるかどうかが、自社運用の導入を決定する上で最も重要な判断基準となる。

結論として、この記事の筆者は、IBMのCEOが述べたような自社運用のコストメリットは、すでに大規模なデータセンターを運用し、メールの要約や契約内容の確認といった定型的で安定したワークロードを大量に持つ大企業にとっては確かに当てはまるものの、月額3,000ドル程度のAPI費用を支払っているような10人規模の小規模チームにとっては、ハードウェア販売のための営業トークに過ぎない可能性があるという見解を示している。自社運用を検討する際は、単なるハードウェアコストだけでなく、運用負荷や人件費、そして実際の利用率を考慮した総合的な判断が不可欠である。