【ITニュース解説】I burned a week of Claude quota in 3 days. Then I found the setting eating it.

最近、大規模言語モデル（LLM）のようなAIツールの利用が広がる中で、そのコスト管理は重要な課題となっている。とある開発者の体験談は、AIを賢く、そして経済的に利用するための重要なヒントを与えてくれる。

著者は、高性能なAIモデルであるClaude Ultraの利用枠をたった3日で使い果たしてしまったという。この想定外の事態に直面し、著者は何が原因だったのかを探るため、自身のAI利用状況を詳細にベンチマーク（性能測定）した。その結果、ある驚くべき事実が明らかになった。

Claudeには、Opus、Sonnet、Haikuといった複数のモデルがあり、それぞれ性能とコストが異なる。Opusが最も高性能で高コスト、Haikuが最も低コストのモデルだ。さらに、各モデルには「労力（effort）」という設定があり、これはAIが問題解決にどれだけの時間と計算リソースを費やすかを示す。この労力設定が、コストと処理時間に大きく影響することが判明したのだ。

著者が行ったベンチマークでは、ある特定の複雑なルーティング問題に対し、高性能なOpusモデルの「最低限の労力」設定では0.19ドルで解決できた。しかし、「最高限の労力」設定では2.03ドルもかかり、しかも結果は同じだったという。さらに悪いことに、高い労力設定の方が処理にかかる時間もはるかに長くなった。これは、AIに「頑張らせる」ことが必ずしも良い結果や効率に繋がるわけではない、ということを明確に示している。高いコストと長い時間を費やしても、得られる結果は変わらない場合があるのだ。

この結果を受けて、著者は「もしかしたら、もっと安価なモデルでも十分なのではないか？」と考えた。そこで、最も安価なHaikuモデルに、通常は高性能モデルでなければ難しいとされる「正規表現エンジンをゼロから書く」というタスクを与えてみた。正規表現とは、文字列のパターンを記述するための特殊な記法で、そのエンジンをゼロから作ることは高度なプログラミング能力を要する。著者はHaikuが失敗すると予想していたが、結果は驚くべきものだった。Haikuは、Python標準の正規表現モジュールと同等の精度で、3000ものランダムなパターンを正確にマッチングさせ、このタスクをわずか0.02ドルで完遂したのだ。

この成功に衝撃を受けた著者は、自身の日常業務を見直した。ファイル内の特定の値を探したり、複数のファイルにまたがる名前変更を行ったり、プログラムの解析器（パーサー）を修正したりといった、いわゆる「退屈だが重要な作業」に、これまで最も高価なOpusモデルを使っていたことに気づいたのだ。これらのタスクは、Haikuモデルに切り替えることで、コストを3.52ドルから0.41ドルへと、なんと88%も削減できた。しかも、結果の正確さは変わらなかったという。

この体験から、「常に安い設定を使え」という結論になるかというと、そうではないと著者は強調している。安価なモデルや低労力設定が有効なのは、そのタスクの結果を自動的にチェックできる場合に限られる。例えば、プログラムのコード生成や修正のように、生成されたコードが正しく機能するかどうかをテストコードで検証できる場合、品質はAIの「労力」ではなく、その「チェック」によって保証される。つまり、AIがどれだけ頑張って答えを出したかよりも、その答えが正しいことを確認するテストの存在が重要なのだ。

一方で、デザインのレビューや高度な戦略立案といった、人間による深い洞察や創造性、主観的な判断が求められるタスクでは、自動的なチェックが困難なため、安価なモデルや低労力設定が常に適切とは限らない。このような状況では、AIの「労力」が結果の品質に影響を与える可能性もある。このため、タスクの性質を見極め、AIの出力を適切に検証する仕組みを構築することが、AIを効果的に利用する上で極めて重要となる。

このような教訓から、著者は「rightsize」というClaude Codeスキルを開発した。これは、タスクの各ステップに応じて最適なAIモデルと労力設定を自動的に選択するツールだ。例えば、変更が加えられた部分だけに関連するテストを自動的に実行することで、全体のテスト時間を大幅に短縮する機能（11.4秒かかっていたテストが0.7秒に短縮）や、AIのトークン消費量を監査し、どこにコストがかかっているかを可視化する機能なども搭載している。このツールはオープンソースで提供されており、ユーザーはAIの利用状況を把握し、コストを最適化しながら効率的に作業を進めることができる。

AIは強力なツールだが、その使い方を誤ると不必要なコストや時間の浪費に繋がる。システムエンジニアを目指す上では、ただAIを使うだけでなく、その裏側にあるコスト構造、モデルの特性、そして「結果の検証」の重要性を理解し、タスクに応じて最適なAIの利用方法を選択する「賢さ」が求められる。これは、単にAIのスキルを身につけるだけでなく、ITリソースを効率的に管理するエンジニアとしての基礎的な能力を養うことにも繋がるだろう。