【ITニュース解説】If models get smarter, why does the same task cost more?

大規模言語モデル（LLM）は日々進化し、以前にも増して賢く、複雑な問題に対応できるようになっている。しかし、モデルが賢くなる一方で、同じようなタスクを実行する際の費用が予想に反して増加しているという現象が起きている。トークンあたりの価格が下がっているにもかかわらず、最終的な請求額が以前より高くなるのはなぜだろうか。この疑問は、多くの開発者やシステムエンジニアを目指す初心者が直面する可能性のある重要な課題である。

このコスト増加の主な原因は、「見えない推論トークン」の存在にある。LLMは単にプロンプト（指示）を受け取ってすぐに回答を生成するわけではない。複雑な思考プロセスを内部で実行し、質問の意図を深く理解したり、複数の選択肢を検討したり、矛盾を解消したりといった「推論」の作業を行ってから、最終的な回答を導き出す。この内部的な推論の過程で生成されるトークンが「推論トークン」と呼ばれるものだ。

問題は、この推論トークンがAPIを通じてユーザーには直接見えないにもかかわらず、モデルの処理能力（コンテキストウィンドウ）を消費し、出力トークンとして課金される点にある。例えば、OpenAIのモデルを使う場合、その推論ガイドには「推論トークンはAPIでは見えないが、モデルのコンテキストウィンドウを占有し、出力トークンとして課金される」と明記されている。さらに驚くべきは、その量である。モデルはタスクによっては数百から数万もの推論トークンを生成することがあり、場合によっては、最初の段階で25,000トークンもの推論と出力のための領域を確保することが推奨されるほどだ。

実際にユーザーの画面に表示される回答がわずか200トークン程度であっても、その背後でモデルが行った推論作業により、請求される出力トークンの総量が12,000トークンにもなる、といった事態も発生する。Anthropicのモデルも同様で、APIの応答に含まれるusage.output_tokens_details.thinking_tokensというフィールドで、内部的な思考に使われたトークン数を確認できるようになっている。これらの情報が示すのは、私たちが普段目にしている出力トークンは氷山の一角に過ぎないということだ。

このコスト増加の背景には、主に三つの要因が同時に作用している。一つ目は「トークン単価」だ。一般的に、より高性能で大規模な最新のモデルほど、トークン単価が高く設定されている傾向がある。これは多くの人が直感的に理解しやすい部分だろう。二つ目は「推論トークンの増加」である。前述の通り、推論トークンは出力トークンとして課金され、ユーザーからは見えない。そして、この推論トークンは、与えられたタスクの難易度や曖昧さに応じてその量が増減する。タスクが難しければ難しいほど、モデルはより深く思考する必要があるため、推論トークンが増えることになる。三つ目は「モデルのデフォルトの思考量」である。新しい、より賢いモデルほど、デフォルトでより多くの「思考」を行うように設計されている場合が多い。つまり、ユーザーが与えるプロンプト自体は変わっていなくても、モデルの内部的な処理（思考プロセス）がより複雑化し、それに伴って推論トークンが増加しているのだ。トークン単価が下がっていても請求額が増えるのは、これら複数の要因、特に見えない推論トークンとモデルの思考量の増加が大きく影響しているためである。

ここで重要なのは、「同じ言葉でも、異なるタスクになっている」という認識を持つことだ。以前のモデルが「安価に」仕事をしていたのではなく、単に「少ない仕事しかしていなかった」と考えるべきだろう。例えば、「このレイアウトは正しいか？」という問いに対して、古いモデルは表面的なチェックをしてすぐに回答していたかもしれない。しかし、最新のモデルは、まず「正しい」が何を意味するのかを文脈から推測し、複数の視点からレイアウトを評価し、もしかしたら配置の曖昧さに気づき、それを解決するための思考プロセスを経てから回答を生成する。プロンプトは全く同じでも、裏側で行われる作業の質と量が根本的に異なっているのだ。この追加の作業こそが、コストが増える理由であり、多くの場合、その結果得られる高品質な回答は追加費用に見合う価値がある。

しかし、モデルの深い思考が、本来ならユーザーがもう少し明確な指示を出すことで回避できたはずの曖昧な点に費やされてしまう場合、その価値は薄れてしまう。特に問題となるのは、「曖昧な入力」だ。弱いモデルに曖昧な指示を与えると、安価だが間違った回答が返ってくることが多い。一方で、強力な最新モデルに曖昧な指示を与えると、モデルはユーザーの意図を正確に把握しようと大量の推論トークンを消費し、結果として正しい回答を出すものの、高額な費用が発生してしまう。

この現象が最も顕著に現れるケースの一つが、スクリーンショットなどの画像を含む入力である。例えば、画面のスクリーンショットを提示して「アライメントを修正して」と指示した場合を考えてみよう。画面上に多数の要素がある中で、どの要素のどのアライメントを修正するべきか、モデルは画像データだけでは判断できない。モデルはユーザーの意図を推測するために膨大な推論作業を行い、そのために多くの推論トークンが消費され、結果的に高額な請求につながる可能性がある。

自身のLLM利用料の内訳を正確に把握し、コストを最適化するためには、この推論トークン数を実際に確認することが不可欠である。OpenAIであればoutput_tokens_details.reasoning_tokens、Anthropicであればusage.output_tokens_details.thinking_tokensといったAPIフィールドを通じて、内部推論に費やされたトークン数を確認できる。一度、同じタスクに対して「明確で具体的なプロンプト」と「曖昧で大まかなプロンプト」の両方を試してみて、それぞれの総トークン数だけでなく、この推論トークン数を比較してみると良い。そうすることで、プロンプトの設計がコストに与える影響を具体的に理解し、より効率的で経済的なLLMの利用方法を見つけることができるだろう。LLMの高度な機能とコスト構造を正しく理解し、適切なプロンプト設計を心がけることは、システムエンジニアとして非常に重要なスキルとなる。