【ITニュース解説】8x Cheaper, 2 Points Behind: The Economics Changing How We Pick AI Models

AI技術の進化は目覚ましく、私たちの仕事や生活に大きな変化をもたらしている。システム開発の現場でもAIモデルの活用は不可欠だが、数多く存在するAIモデルの中から、プロジェクトに最適なものを選ぶのは簡単なことではない。一見すると性能がわずかに劣るだけで価格が格段に安いモデルがあるにもかかわらず、多くの人が高価なモデルを選んでしまうという興味深い現象について解説する。この現象の背後には、AIモデルの「見かけのコスト」と「実際のコスト」の間に大きなギャップが存在する。

この記事では、まず「GLM-5.3-Flash」と「Kimi K3」という二つのAIモデルの比較データが提示されている。GLM-5.3-Flashは特定の能力指数で42点、1タスクあたり0.25ドル。一方、Kimi K3は44点、1タスクあたり2.00ドルだ。性能はたった2点しか違わないのに、コストは8倍も違う。多くの人が直感的に「安い方を選ぶべきだ」と考えるだろう。しかし、現実には高価なKimi K3が選ばれるケースが多い。なぜこのような選択になるのか、その理由を深く掘り下げていく。

第一に挙げられる理由は「失敗のコスト」がAPI利用料だけでは測れないことだ。AIモデルがタスクを失敗した場合、その再実行にかかるのはAPIの呼び出し費用だけではない。システムエンジニアやオペレーターが結果を確認し、修正するのにかかる「人間の時間」も大きなコストとなる。もし重要なタスクであれば、失敗によるビジネスへの影響も無視できない。たとえAPI費用が3倍高かったとしても、失敗する頻度が少なければ、結果的に総コストは安くなる可能性がある。例えば、Kimi K3はGLM-5.3-Flashに比べて失敗率が低い傾向があるため、最終的なコスト削減につながることがある。

第二の理由は、AIモデルの「総合スコア」が、実際の業務に必要な能力と一致しない場合があることだ。AIモデルの評価によく使われる総合スコアは、様々な種類のタスクを混ぜ合わせたテストセットで測定される。しかし、特定の業務では、その業務に特化した能力が求められる。例えば、非常に長い法律文書を読み解くような作業では、その読解能力に特化したベンチマーク（性能評価テスト）スコアを見るべきだ。データによると、Kimi K3は「Humanity's Last Exam」のような広範な知識を問うテストで高得点だが、「Terminal-Bench」のような実践的なコード生成やコマンド実行能力を測るテストではGLM-5.3-Flashが大幅に優れている。このように、異なる仕事には異なる最適なモデルが存在し、総合スコアだけでは判断できないのである。

第三の理由は、「表示価格」と「実際に支払う価格」の間にズレがあることだ。これにはいくつかのパターンがある。 一つ目は「プロモーション割引」だ。AIモデルのプロバイダーは、期間限定の割引価格を提供することがある。例えば、GLM-5.3-Flashが通常価格の半額以下で利用できる期間があったとする。この割引価格を前提に予算を組んでしまうと、プロモーション期間が終了した途端にコストが大幅に跳ね上がり、予算を超過してしまうリスクがある。 二つ目は「キャッシュ料金」だ。AIモデルによっては、過去に処理した同じ情報（コンテキスト）を再度送信した場合に、非常に安い料金が適用されることがある。これをキャッシュ料金と呼ぶ。例えば、ある文書を繰り返し参照して質問を繰り返すようなワークロードでは、通常の料金よりも50倍も安くなるケースもある。しかし、毎回新しい情報やコンテキストを送るワークロードでは、この恩恵は受けられず、表示通りの高額な料金がかかる。 三つ目は「推論モード」だ。AIモデルは、ユーザーが見ることのできない内部的な「思考プロセス」にも多くの計算リソースを費やしている。この思考プロセスで消費されるトークン（AIが文章を処理する際の最小単位）も課金対象となる。Kimi K3のデータでは、1タスクあたりに生成される出力トークンの約3分の2が、このユーザーには見えない推論のためのトークンだったという。つまり、ユーザーが受け取る結果の見た目からは判断できない、隠れたコストがそこには存在するのだ。

さらに、API利用料金の請求書には現れない「隠れたコスト」も存在する。その一つが「処理速度」だ。Kimi K3は1タスクあたり約18分かかるのに対し、GLM-5.3-Flashは約9.5分と半分程度の時間で完了する。もし同時に100のタスクを処理する場合、この速度差は単なる待ち時間以上の意味を持つ。処理の遅いモデルを選べば、多くのタスクを並行処理するために、より多くのサーバー（マシン）を借りる必要が出てくるかもしれない。この追加のサーバー費用は、APIの請求書には記載されないが、プロジェクト全体のコストとしては無視できない。また、開発段階での試行錯誤においても、モデルの応答が遅いほど、1回の実験サイクルが長くなり、システムエンジニアの貴重な時間もより多く消費されることになる。

これらの複雑な要素を踏まえ、ではどのようにAIモデルを選べば良いのだろうか。最も実用的な答えは、単一のモデルに固執せず、タスクの「失敗許容度」や「特性」に応じて複数のモデルを使い分けることだ。 例えば、「失敗しても問題ないタスク」や「繰り返し修正できるタスク」には、安価なモデルを積極的に活用すべきだ。このようなタスクでは、0.25ドルという低コストが本当に意味を持つ。 また、「同じ情報を頻繁に再利用するタスク」では、利用したいAIモデルが提供するキャッシュ料金を必ず確認し、その割引率を考慮してコストを再計算する。通常の料金ではなく、キャッシュ料金で判断すれば、意外にも高価に見えるモデルが安価になることもある。 一方で、「失敗が許されない重要なタスク」（顧客への成果物や手動修正に多大な労力がかかるものなど）には、そのタスクに特化した高い性能を持つモデルを選ぶべきだ。たとえ総合スコアの差がわずか2点でも、失敗によるコストを考慮すれば、8倍の費用を支払う正当な理由がある。 さらに、「幅広い世界知識」が求められるタスクでは、「Flash」などの高速・廉価版モデルは一般的に弱い傾向があるため、注意が必要だ。

AIモデルを選ぶ際には、いくつかの注意点がある。 まず、独立した評価機関が出すコストデータは、特定のキャッシュ利用パターンを想定しているため、あなたの実際の利用状況とは異なる可能性がある。必ず自分自身のワークロードで実際に測定することが重要だ。 次に、プロモーション価格には必ず終了期限がある。予算を組む際は、この終了日をしっかりと確認し、長期的な視点で計画を立てる必要がある。 また、AIベンダーが発表するスコアと、独立した評価機関が出すスコアは、使用するテストセットが異なるため一致しないことが多い。モデルの性能を比較する際は、同じテストセットで評価されたスコア同士を比較するように心がけよう。 そして、AIの評価基準（インデックス）自体もバージョンアップによって変化する。同じモデルでも、古いインデックスでのスコアと新しいインデックスでのスコアでは、大きく異なることがある。これはモデルの性能が変わったのではなく、評価基準がより厳しくなったことによるものだ。スコアを比較する際は、どのバージョンのインデックスで評価されたものかを確認することが不可欠である。

AIモデルを実際に利用し、費用を支払ってきた経験者からのアドバイスとしては、AIモデル選択において「トークン単価」が最も役に立たない情報であるという点が強調されている。筆者自身も、最安値のモデルを選んだ結果、品質が低く再実行が多くなり、最終的な総コストが高くなった経験や、逆に高スコアのモデルを選んだものの、キャッシュ利用により想定よりはるかに安くなった経験があるという。 そのため、モデルを選ぶ前に、最も頻繁に実行するタスクの「実際のコスト」と、そのタスクにおける「失敗率」の二つを測定することを推奨している。まずは失敗しても大きな影響がないタスクから安価なモデルを試してみて、その成功率を自分で測る。もし成功率が高ければ、それ以上のコストをかける必要はない。しかし、失敗が多くて作業の半分以上をやり直す必要があるようなら、多少高価なモデルに切り替える方が、結果的には時間と労力を節約でき、総コストも安くなることが多い。真のコストは、請求書に記載される金額だけでなく、失われた時間や手間の中にも隠されているのである。

これらの洞察は、システムエンジニアとしてAIを活用する際に非常に重要だ。単にAIモデルのスペックや価格だけを見るのではなく、実際の業務におけるAIの振る舞い、隠れたコスト、そしてプロジェクト全体への影響を多角的に評価することで、初めて最適なAIモデル選択が可能となる。