【ITニュース解説】Pourquoi utiliser un compteur de tokens ? 5 raisons (mesures en français)

大規模言語モデル（LLM）の利用において「トークン」の理解は非常に重要だ。システムエンジニアとしてこれらの技術を扱う際、コスト管理、パフォーマンス最適化、および利用制限の遵守は避けて通れない課題となる。ChatGPT、Claude、Gemini、MistralなどのAIモデルは、メッセージや単語ではなく、このトークンという単位で処理が行われ、料金が課金され、コンテキストウィンドウの容量が決まる。しかし、このトークンは通常、私たち利用者には見えないため、その存在を意識することは少ない。トークンカウンターを利用することで、見えないコストや制限を可視化し、より効率的にLLMを活用できるようになる。

トークンとは何か、具体的に説明する。トークンは、AIモデルがテキストを理解し処理するために、入力された文章を細かく区切った最小単位のことだ。これは必ずしも一つの単語全体を指すわけではなく、単語の一部、句読点、さらには空白などもトークンとして数えられる場合がある。例えば、OpenAIのモデルでは、「Résumez」というフランス語の単語が「Rés」「ume」「z」の3つのトークンに分割される。一方、「summarize」という英語の単語は1トークンで済むこともある。このように、どの部分を一つのトークンとして区切るかは、各モデルが持つ「トークナイザー」という独自の仕組みによって異なり、同じ単語でも言語によってトークン数が変わるという特徴がある。一般的に、英語の単語は頻繁に使われるものが多く、それらが一つのトークンとして処理されやすい傾向があるが、フランス語のような他の言語では、同じ情報量でもより多くのトークンに分割されることが多い。

トークン数の目算がいかに信頼できないかを知ることは重要だ。世間では「1トークンは約4文字」とか「100トークンは約75単語」といった目安がよく言われている。しかし、これはあくまで一般的な英語の文章における大まかな目安に過ぎない。実際にフランス語のメールを例に取ると、1トークンあたり約5文字となり、100トークンで約81単語という結果が出ている。この程度の差であればまだ許容範囲に思えるかもしれないが、テキストの内容が普通の文章ではない場合、この誤差は著しく大きくなる。例えば、システムで使われるUUIDのような識別子は、それ単体で18トークンも消費することがある。また、データ構造を記述する際にも大きな差が出る。同じ内容のデータであっても、JSON形式でインデントされた表は、CSV形式の同じ表と比較して2.9倍ものトークンを消費することが示されている。このように、テキストの種類や形式が異なると、トークン数は予測不能なほど大きく変動するため、単一の経験則に頼るのは非常に危険だ。正確なトークン数を把握するには、実際に計測するしか方法はない。

言語によってAIの利用コストが変わるという点も注目すべきだ。前述の通り、多くの大規模言語モデルにおいて、フランス語は英語よりも多くのトークンを消費する傾向にある。具体的なテストでは、同じ内容のメールをフランス語で書いた場合、英語で書いた場合と比較して、OpenAIとMistralのどちらのモデルでも約21%多くのトークンが必要とされた。さらに短いカスタマーサービス向けのプロンプトでは、その差が29%にも拡大したという。これは、同じ情報をAIに伝えるだけでも、使用する言語によってAPIの利用料金が高くなったり、有料サブスクリプションの利用制限に早く到達したりすることを意味する。つまり、言語選択が直接的に運用コストに影響を与える可能性があるのだ。トークンカウンターを使うことで、自分のプロジェクトで実際に使われるテキストが、言語によってどれくらいのトークンを消費するのかを正確に把握し、より費用対効果の高い言語戦略を検討できる。

LLMの利用においては、入力トークンと出力トークンのコスト構造を理解することが不可欠だ。一般的に、モデルへの入力、つまりプロンプトとして送るテキストのトークンにかかるコストよりも、モデルが生成する出力、つまり回答のトークンにかかるコストの方が、4倍から5倍も高価に設定されていることが多い。この非対称なコスト構造を理解していないと、コスト最適化の努力が無駄になる可能性がある。例えば、毎日1000通のメールを要約するシステムを想定しよう。入力テキストをフランス語から英語にすることで、月に約2ドルのコストを削減できるかもしれない。しかし、生成される要約の長さを半分にすることで、月に約30ドルものコストを削減できる可能性があるのだ。この例からもわかるように、出力トークン数を減らす方が、入力トークン数を減らすよりも劇的なコスト削減効果を生む場合が多い。トークンカウンターは、入力と出力の両方のトークン数を把握し、どこに最適化の余地があるのかを正確に特定する手助けとなる。

有料サブスクリプションやコンテキストウィンドウの制限も、トークンの理解なしには効率的な利用が難しい。ChatGPT Plus、Claude Pro、Le Chat Proといった有料サービスでは、直接トークンごとの料金は請求されないものの、これらのサービスの利用上限や、一度の会話で扱えるテキストの最大量、つまりコンテキストウィンドウのサイズは、すべてトークン数に基づいて計算されている。そのため、非常に長いドキュメントや複数の長いやり取りを一度にAIに貼り付けると、あっという間に月間の利用制限に達してしまったり、コンテキストウィンドウの上限を超えてしまい、AIが過去の会話を忘れてしまったりする可能性がある。自分のテキストがどれくらいのトークンに相当するかを事前に知ることで、ドキュメント全体を貼り付けるべきか、特定の要約部分だけを使うべきか、あるいは事前に自分で要約してから入力すべきか、といった賢明な判断を下せるようになる。

さらに、使用するモデルによって同じテキストでもトークンカウントが異なるという事実も無視できない。ニュース記事の例では、同じメールのテキストがOpenAIのモデルでは199トークンだったのに対し、Mistralのモデルでは206トークンとカウントされた。このように、モデルが異なればトークン数が変わるだけでなく、それぞれのモデルが設定しているトークンあたりの料金も大きく異なる。したがって、複数のAIモデルの利用を検討したり、比較したりする際には、単に各モデルの料金表を見るだけでは不十分だ。正確な比較を行うためには、自分の利用するテキストが、それぞれのモデルでどれくらいのトークンとしてカウントされるのかを把握し、その上で各モデルの料金単価を掛け合わせる必要がある。トークンカウンターは、この複雑な計算をユーザーの代わりに実行し、具体的なコスト試算を可能にする重要なツールとなる。

実際にトークンカウンターを活用する方法は非常にシンプルだ。例えば「TokenSave」のようなツールでは、AIに送りたいプロンプトや文書をウェブサイトの指定された領域に貼り付けるだけで、OpenAI、Claude、Geminiなど主要なモデルにおけるトークン数と推定コストが表示される。この情報をもとに、テキストをより短くしたり、JSON形式のデータをCSV形式に変更したり、あるいは全文を英語に翻訳してからAIに送るなど、様々な最適化を試すことができる。一部のカウンターツールには、不要なスペースの削除や、テキストを英語に翻訳しつつ「Reply in French.（フランス語で返答せよ）」という指示を追加して、回答は元の言語で得られるようにする機能が搭載されているものもある。これにより、入力コストを抑えつつ、ユーザーが望む言語での出力を得ることが可能になる。多くのツールはブラウザ内で処理が完結し、入力したテキストが外部サーバーに送信されないため、セキュリティやプライバシーの面でも安心して利用できる。

ただし、トークンカウンターにも限界があることを理解しておくべきだ。紹介されたカウンターが対応しているのは、あくまで特定のモデルのトークナイザーに限定されることが多く、ClaudeやGeminiなど他のモデルでは正確な数値が異なる場合がある。しかし、その場合でもおおよその傾向やオーダーは把握できるため、目安としては非常に有用だ。また、画像、PDFファイル、音声データといった非テキスト情報は、テキストのトークンカウントとは異なる方法で処理されるため、カウンターの対象外となる。さらに、実際のAPI利用コストは、キャッシュの利用状況、大量利用による割引、そしてモデルが生成する回答の実際の長さなど、多くの要因によって変動する可能性がある。これらの点を踏まえつつ、トークンカウンターはAIモデルを効率的かつ経済的に利用するための強力な支援ツールとして、システムエンジニアを目指す誰もが習得すべき実践的な技術と言えるだろう。