【ITニュース解説】ถูกกว่า 8 เท่า ได้คะแนนน้อยกว่า 2 จุด, เศรษฐศาสตร์เปลี่ยนวิธีเลือกโมเดล

AIモデルを選ぶ際、多くの人がまず目にするのは、そのモデルの性能スコアと利用にかかる費用だ。例えば、あるAIモデルが別のモデルより性能スコアがたった2点低いだけで、利用料金が8分の1になるという話を聞くと、ほとんどの人は迷わず安い方を選ぶだろう。しかし、実際にプロジェクトでお金を払う段になると、不思議と性能が少し高い方のモデルが選ばれることが多い。この一見矛盾する現象には、単なる数字の上では見えない、もっと複雑な理由が存在する。

この記事では、AIモデルの選択において、なぜ単純な性能スコアと料金の比較だけでは不十分なのかを詳しく解説する。具体的に、GLM-5.3-Flashというモデルはスコア42で1タスクあたりのコストが0.25ドル、Kimi K3というモデルはスコア44で1タスクあたり2.00ドルというデータがある。性能差はたった2点だが、コストは8倍も違う。この数字だけを見れば、GLM-5.3-Flashを選ぶべきだと直感するかもしれないが、実際にはそう単純ではない。

高いモデルが選ばれる主な理由の一つは、AIの誤動作によるコストが、API利用料だけでは測れないからである。もしAIが生成した結果が間違っていて、そのタスクをやり直す必要が生じた場合、追加でかかるのはAPI利用料だけではない。間違いを検出し、修正するためにエンジニアや担当者の貴重な時間と労力がかかる。もしそのタスクが顧客への成果物やビジネス上の重要な意思決定に関わるものであれば、一度の失敗が信用失墜や大きな経済的損失につながる可能性もある。このような場合、多少費用が高くても、失敗する確率が低い、信頼性の高いモデルを選ぶ方が結果的にはコストを抑えられる。例えば、3倍高いモデルでも、失敗率が半分以下であれば、トータルで見ればそちらの方が「安い」と判断できるのだ。

次に、AIモデルの性能評価指標が、実際の業務のニーズと合致していない場合がある点も重要である。AIモデルの総合スコアは、様々な種類のテストタスクを組み合わせて算出されることが多い。しかし、あなたのプロジェクトが特定の分野、例えば法律文書の読解や特定のコード生成に特化している場合、総合スコアよりも、その特定の分野に特化したベンチマークスコアを見るべきである。例えば、あるデータではKimi K3が「Humanity's Last Exam」で47点、「CritPt」で23点と他のモデルを大きく上回る一方、GLM-5.3-Flashはそれぞれ40点と15点であった。しかし、実際に「Terminal-Bench」のようなプログラミング関連のタスクでは、GLM-5.3-Flashが33パーセント、Kimi K3が13パーセントと逆転する結果も出ている。このように、タスクの種類によって最適なモデルは異なり、総合スコアだけでは判断できないのである。

また、AIモデルの価格設定には、見かけ上の数字と実際に支払う費用に大きな乖離がある場合がある。まず、プロモーション価格の問題がある。ウェブサイトに表示されている安価なトークン単価は、期間限定のプロモーション価格である可能性が高い。もしプロモーション期間が終了すれば、料金は通常の数倍に跳ね上がるため、予算計画が狂ってしまう。次に、キャッシュ価格という概念がある。AIモデルは、以前に処理した同じ情報（コンテキスト）を再度利用する場合、より安価な「キャッシュ価格」で提供されることがある。例えば、DeepSeek V4.1 Flashでは、キャッシュされた入力トークンは通常の50分の1の価格になる。これは、同じ文書を繰り返し参照するシステムや、定型的な質問応答システムなど、毎回同じコンテキストを送信する用途では非常に大きなコスト削減につながるが、毎回異なる新しい情報を処理するタスクでは、キャッシュの恩恵は受けられない。最後に、AIモデルが「思考」に使うトークンの存在も無視できない。一部のモデルは、回答を生成する過程で内部的に「思考」のためのトークンを消費する。これらのトークンはユーザーの目には見えないが、実際に料金として発生する。Kimi K3の場合、1タスクあたりの出力トークンの約3分の2がこの思考トークンであったというデータもある。

API利用料の数字に表れない隠れたコストとして、処理速度も非常に重要である。Kimi K3が1タスクあたり平均1,093秒（約18分）かかるのに対し、GLM-5.3-Flashは572秒（約9分半）で完了するというデータがある。もし同時に多くのタスクを処理する必要がある場合、処理速度の遅いモデルでは、結果を待つ時間が長くなるだけでなく、並行処理のために追加のサーバーリソース（例えば、より多くの仮想マシン）を借りる必要が出てくるかもしれない。これはAPI利用料とは別の、インフラ費用として発生するコストである。また、開発者がAIモデルの動作を試行錯誤する際も、モデルの応答が遅ければ、検証サイクルが長くなり、開発効率の低下や人件費の増加につながる。Kimi K3の生成速度が1秒あたり38トークンであるのに対し、GLM-5.3-Flashは95トークンと2.5倍の差があることは、このような隠れたコストに直結する。

では、どのようにAIモデルを選べば良いのだろうか。最も実用的な方法は、すべてのタスクに一つのモデルを選ぶのではなく、タスクの性質や、失敗した際の許容度に応じてモデルを使い分けることである。例えば、失敗してもやり直しが容易で、人手によるチェックや修正のコストが低いタスク、あるいはリアルタイム性がそれほど求められないタスクには、安価なモデルを積極的に利用するべきである。このようなタスクでは、1タスクあたり0.25ドルという数字が真の意味を持つ。

一方、同じコンテキスト（情報）を頻繁に利用するタスク、例えば、常に同じマニュアルやデータベースを参照して回答するシステムなどは、キャッシュ価格が適用されるかどうかを事前に確認し、それを考慮した上でコストを再計算するべきである。公示価格だけでなく、実際の利用パターンに合わせた料金を見積もることが重要だ。

さらに、失敗が許されない、あるいは失敗した場合のコストが非常に高いタスク、例えば顧客に直接提供する成果物を生成したり、修正に多大な労力を要したりするタスクでは、総合スコアよりも、そのタスクに特化した専門分野のスコアを重視し、信頼性の高いモデルを選択すべきである。性能スコアがたった2点しか違わなくても、8倍高いモデルを選ぶことは、失敗による損失を防ぐという観点から十分合理的な判断となり得る。また、一般的な知識を必要とするタスクでは、Flash版と呼ばれるモデルは知識面で弱い傾向があるため、注意が必要である。GLM-5.3-Flashの知識スコアが7点であるのに対し、Kimi K3は20点と大きく差がある事例も示されている。

モデル選択においては、いくつかの点に特に注意する必要がある。第一に、ベンチマークテスト機関が提示する1タスクあたりのコストは、特定の利用パターンに基づいているため、あなたの実際の利用状況とは異なる可能性がある。必ず自分のプロジェクトで試用し、実際のコストを測定するべきである。第二に、プロモーション価格でモデルを選ぶ場合は、そのプロモーションの終了日を必ず確認し、それを見越した予算計画を立てる必要がある。第三に、AIモデルの性能スコアを比較する際は、異なるメーカーや独立機関の評価を比較する場合でも、必ず同じテストスイートや評価基準に基づいていることを確認しなければならない。そうでなければ、リンゴとオレンジを比較するような意味のない比較になってしまう。第四に、ベンチマーク指標のバージョンアップにも注意が必要だ。同じモデルでも、評価指標のバージョンが変わるとスコアが大きく変動することがある。例えば、GLM-5.3-Flashは、あるバージョンの指標では57点だったのに、別の新しいバージョンの指標では42点に下がったという例がある。これはモデルの性能が落ちたわけではなく、評価に使われるテスト問題がより難しくなったためであり、比較する際はどのバージョンの指標によるものかを確認する必要がある。

私自身も毎月AIモデルの利用料を支払っているが、その経験から得た最も重要な教訓は、トークン単価が最も信頼できない判断基準だということである。以前、とにかく安いモデルを選んだ結果、期待通りの出力が得られず何度もリクエストをやり直すことになり、結果的に高くついてしまった経験がある。また別の時には、最高スコアのモデルを選んだが、私のタスクが常に同じコンテキストを使用するため、キャッシュ価格が適用されて想像以上に安く利用できた。

私が今行っているのは、最も頻繁に実行するタスクについて、API利用料だけでなく、そのタスクの失敗率を含めた実際のコストを測定することである。そして、まずは失敗しても大きな問題にならないようなタスクから、安価なモデルを試してみることを推奨する。そこで十分な成功率が得られれば、それ以上の費用をかける必要はない。しかし、もし失敗率が高く、半数以上をやり直す必要があるようなら、多少高価なモデルに切り替える方が、結果的には時間と労力という隠れたコストを削減でき、全体として安上がりになることが多い。本当のコストは、APIの請求書には載っていない、あなたの「時間」の中にあるのだ。