【ITニュース解説】I Built an OTel Processor That Can Save You $12k/Month on LLM Observability

近年、大規模言語モデル（LLM）を活用したサービスが急速に普及し、多くの企業がこれらのAIサービスを本番環境で運用している。しかし、システムの健全性を監視・可視化するための「オブザーバビリティ」にかかる費用が急激に増加しているという新たな課題が浮上している。特に、API呼び出しごとに生成される「トレース」という詳細なログデータが膨大になり、その保存・分析コストが大きな負担となっている。

オブザーバビリティのコストを抑える一般的な手法に「サンプリング」がある。これは、すべてのデータを保存するのではなく、一部のデータだけを選んで保存する方法だ。多くのシステムで採用されているのが「ランダムサンプリング」という手法で、例えば100個のトレースの中から無作為に1つだけを選んで保存する。しかし、この手法には深刻な問題がある。ランダムサンプリングは、データの重要性を考慮しないからだ。GPT-4oへの高額な呼び出しや、決済フローのエラー、応答に時間がかかったタイムアウトなど、運用上重要な情報を含むトレースであっても、99%の確率で失われてしまう。これにより、トラブルが発生しても原因究明に必要な情報がなく、デバッグが困難になる。一方で、システム稼働を確認するヘルスチェックのような、価値の低いデータまで無作為に残してしまうことがある。つまり、ランダムサンプリングはコストを考慮せず、本当に必要な情報を見逃し、どうでもいい情報を残すという非効率を生み出す。

このようなランダムサンプリングの限界を乗り越え、LLMオブザーバビリティのコストを大幅に削減するために開発されたのが「TraceShrink」というツールである。これは、OpenTelemetry Collectorと呼ばれるデータ収集・処理ツールの「プロセッサ」として機能し、従来のランダムサンプリングに代わり、「コストアウェアサンプリング」、つまりデータの価値や重要性を認識して選別する新しいサンプリング方法を提供する。

TraceShrinkの仕組みは2つのステップに分かれる。まず、「costprocessor」が、LLMへのAPI呼び出しに関する情報、具体的には使用されたモデル名とトークン数をトレースデータから読み取る。そして、内蔵された2,700以上のモデルの料金データベースを参照し、そのAPI呼び出しがいくら費用がかかったかを正確に計算し、そのコスト情報をトレースに付与する。次に、「traceshrink」本体が、この付与されたコスト情報、さらにトレース全体でエラーが発生しているか、処理に5秒以上の時間がかかっているかといった条件に基づいて、そのトレースを保存すべきかを判断する。具体的には、トレースの合計コストが設定された閾値（例えば0.1ドル）以上であれば保持する。また、エラーが含まれるトレースや、処理時間が5秒を超える遅延トレースも、たとえコストが低くても常に保持する。これらの重要な条件に当てはまらない、価値の低いトレースは破棄される。このようにTraceShrinkは、トレースが完了するまでデータを一時的に保持し、そのトレース全体の状況を見てから、本当に必要なデータだけを残すという賢い判断を行う。

TraceShrinkを導入することで得られる効果は非常に大きい。例えば、100万個のトレースを含むAIワークロードのシミュレーションでは、元のデータ量のわずか2%にあたる2万125個のトレースだけを残すことで、ストレージ使用量を98%も削減できた。それでいて、全体の発生コストの70%に相当する高価な呼び出しは確実に捕捉されており、発生したエラーや遅延したリクエストもすべて保存される。無駄を大幅に省きながら、重要な情報はすべて手元に残せるのだ。この効果は費用削減に直結する。例えば、1日あたり500万個のトレースを生成するAIゲートウェイの場合、TraceShrink導入前は月額75ドル（Grafana Cloudの例）から400ドル（Datadogの例）かかっていた費用が、導入後は月額1.5ドルから8ドルにまで劇的に減少する。大規模な運用では月額1.2万ドルの節約も可能であり、膨大な量のデータを扱う企業にとって、いかにTraceShrinkが費用対効果の高い解決策であるかがわかる。

OpenTelemetryには、OTTL（OpenTelemetry Transformation Language）という、トレースのサンプリング条件を設定する機能がある。しかし、OTTLでは個々のスパン（トレースを構成する最小単位）ごとに条件を評価するため、「トレース全体の合計コストがいくら以上であれば保存する」といった、トレース全体を見渡した複雑な判断ができないという限界がある。TraceShrinkは、この「トレース全体での集約と判断」を可能にし、コスト、エラー、処理時間といった複数の重要な条件を、一つのシンプルな設定で扱えるため、既存の機能よりも強力かつ簡単に目的を達成できる。

TraceShrinkを導入するには、専用のOpenTelemetry Collectorを構築し、その設定ファイルにTraceShrinkの処理ブロックを追加するだけで、既存のオブザーバビリティパイプラインに組み込むことが可能だ。

TraceShrinkは、大規模言語モデルを活用するサービスにおいて、膨張し続けるオブザーバビリティコストという大きな課題に対し、費用を劇的に削減しながら、本当に必要な重要な情報を確実に保持するという、実践的な解決策を提供する。これは、今後のAIサービス運用において、コスト効率とシステムの安定稼働を両立させるための重要なツールとなるだろう。開発者は、既存のOpenTelemetryプロジェクトへの統合や、使いやすいダッシュボードテンプレートの提供などを計画している。