【ITニュース解説】The SQL Behind an AI Visibility Dashboard: Five Metrics and Their Traps

人工知能（AI）が生成する回答、特に大規模言語モデル（LLM）からの回答を日々収集し、そこに自社ブランドがどれくらい言及されているかを評価するようになると、やがてその結果を分かりやすい形で表示する「ダッシュボード」が必要になる。しかし、生のデータがいくら良くても、そのデータを誤った方法で集計し可視化すると、誤解を招くグラフになってしまう危険性がある。特にLLMの回答データは、毎回同じ質問をしても回答が完全に同じになるとは限らない非決定性や、1回あたりの質問に対するサンプル数の少なさ、利用するAIエンジンの違い、競合ブランドの頻繁な変化といった特有の課題を抱えている。

この解説では、このような特性を持つAI回答データからブランドの可視性を測るために、ダッシュボードに表示すべき主要な5つの指標と、それらをSQLで正確に計算する方法、そして各指標を解釈する際に陥りやすい「落とし穴」について説明する。

まず、すべての指標の基盤となるデータの準備が重要となる。複数の指標で共通して使用する「実行（run）」、「プロンプト（prompt）」、「スコア（score）」、「ブランド（brand）」といったテーブルを結合し、さらに特定の条件（例えば、プロンプトがアクティブであること、スコアラーのバージョンが最新であること）を適用したデータセットを、v_scoredという名前の「ビュー」として定義する。ビューとは、複雑なSQLクエリの結果をあたかも一つのテーブルのように扱える仮想的なテーブルのことで、これにより、各指標の計算でデータソースの一貫性が保たれるだけでなく、もしデータ取得方法や評価基準が変わった場合でも、このビューの定義を一つ変更するだけで済むため、ダッシュボード全体の保守性が大幅に向上する。

最初の指標は「可視化率（Visibility rate）」である。これは、AIの回答のうち自社ブランドが言及された割合を示す。日々の可視化率は、1日に試されるプロンプト（質問）の数が少ないため大きく変動しやすく、そのままグラフにすると日々のノイズに惑わされてしまう。そのため、直近7日間の移動平均を用いて長期的なトレンドを把握するのが効果的である。移動平均を計算する際は、日次で計算したパーセンテージを単純に平均するのではなく、7日間分の「言及数」の合計を「回答総数」の合計で割る必要がある。日次パーセンテージを単純平均すると、回答数が少ない日のデータが、回答数が多い日と同じ重みで扱われてしまい、実態を正確に反映しない可能性があるため注意が必要だ。また、過去7日間のデータを見る場合、もしデータ収集がスキップされた日があれば、意図せず期間が8日やそれ以上になってしまうことがあるため、日付を管理するカレンダーテーブルと結合して欠落日を補完する工夫も考えられる。

二つ目の指標は「シェア・オブ・ボイス（Share of voice）」である。これは、特定のAIエンジンが言及した全ブランドのうち、自社ブランドが占める割合を示す。この指標は、追跡対象とする競合ブランドのセットが固定されている場合にのみ意味を持つ。SQLでは、まず各ブランドの言及数を集計し、その後、AIエンジンごとの総言及数に対する割合を算出する。ここでの落とし穴は、分析期間の途中で新たな競合ブランドを追加すると、それまで計算されていたすべてのブランドのシェア・オブ・ボイスが突然低下してしまうことである。そのため、競合セットが変更された場合は、グラフにその変更点を注記するか、過去のデータを新しい競合セットに基づいて再計算する必要がある。

三つ目の指標は「平均掲載順位（Average position）」である。AIの回答がリスト形式でブランドを列挙する場合、自社ブランドがリストの何番目に掲載されたかの平均値を示す。この指標は、ブランドがリストに掲載された「回数」とセットで表示することが極めて重要である。なぜなら、例えば自社ブランドの可視化率が下がった（AIが自社を言及しなくなった）にもかかわらず、残りの回答でたまたま上位に掲載された結果、平均掲載順位が「良く見える」ことがあるからだ。実際には露出が減っているのに、指標だけを見れば状況が改善したと誤解してしまう可能性がある。また、あまりにも掲載回数が少ないAIエンジンについては、平均掲載順位を表示しない、といったしきい値を設けることで、信頼性の低いデータで判断してしまうのを防ぐことができる。

四つ目の指標は「引用率とメンション率（Citation rate vs. mention rate）」である。これは、自社ブランドがAIの回答で「言及された」割合と、その言及が「情報源として引用された」割合を同じグラフに表示する。この二つの割合の差、特に「言及されたが引用されなかった」割合が大きい場合、AIは自社ブランドを知っているものの、そのブランドに関する情報を別の第三者サイト（例えば、レビューサイト、フォーラム、競合比較ページなど）から得て、それを元に自社ブランドを説明している可能性を示唆する。この事実は、それらの第三者サイトが自社ブランドの描写を形作っていることを意味するため、非常に価値のある情報となる。

最後の五つ目の指標は「センチメントミックス（Sentiment mix）」である。これは、AIが自社ブランドについて言及した際の感情分類（肯定的、中立的、批判的など）の割合を、単一の「センチメントスコア」ではなく、それぞれの感情が全体に占める比率として表示する。例えば、単一の「ポジティブ度からクリティカル度を引いたネットスコア」のような指標では、ポジティブな言及が横ばいでも、中立的な言及がクリティカルな言及にシフトした場合、その変化を見落としてしまう可能性がある。しかし、各感情の割合を積み上げグラフとして表示すれば、このような微妙な変化も視覚的に捉えることができる。また、AIベースの感情分類器は、使用するモデルの変更などによってラベル付けの基準が「ドリフト」することがあるため、定期的に手作業で少数の回答を監査し、分類の精度を確認することが重要である。

これらの5つの指標をダッシュボードに配置する際には、互いに関連性の高い指標を隣り合わせにすることで、より正確な状況判断を促すことができる。例えば、可視化率の隣にシェア・オブ・ボイス、平均掲載順位の隣にリスト掲載回数を配置するといった工夫が考えられる。そして、何よりも重要なのは、ダッシュボード上のどの数値をクリックしても、その数値の根拠となった「生のAI回答データ」にすぐにアクセスできる「ドリルダウン」機能を実装することである。これにより、「具体的にAIは何と答えたのか？」という疑問に迅速に答えることができ、ダッシュボードの信頼性と実用性が格段に向上する。

ただし、ここまで説明したSQLによる指標の計算は、実用的なAI可視性ダッシュボードを構築する上での一部に過ぎない。実際には、地域ごとの回答の違いを考慮した地域別分析、複数のブランドを扱うエージェンシー向けの機能、定期的なメールレポートの送信、急激な指標の変動を検知するアラート機能、そして技術的な知識を持たないステークホルダーでも使いやすいインターフェースなど、多くの機能が求められる。

これらのダッシュボード構築において、常に心に留めておくべき重要な原則がある。それは「すべての割合（rate）には、その計算の基となった分母を常に併記すること」である。これにより、指標の信頼性と解釈の正確性が保証され、誤った判断を避けることができる。