【ITニュース解説】My AI visibility score was 29.2. Here is what the one number was hiding

AIがどれだけ世の中の情報を認識し、適切に参照しているか、その「可視性」を測る試みは、近年ますます重要になっている。ある著者が自身の情報をAIがどれくらい認識しているかを評価したケースでは、AIの可視性スコアが29.2%という結果だった。この数値だけを見ると、AIがその著者についてあまり知らないかのように思えるかもしれないが、実はこの一つの数字の裏には、AIの理解度の複雑な実態が隠されている。システムエンジニアを目指す初心者にとって、このような評価の仕組みと、表面的な数字だけにとらわれないデータ分析の重要性を理解することは、AIシステムを構築したり、利用したりする上で非常に役立つはずだ。

このAI可視性スコアは、著者の情報がAIによってどれだけ正確に特定され、説明されているかを評価したものだ。具体的な計算方法は次のようになる。まず、著者に関する質問（プロンプト）を作成し、それを二つの主要なAIモデル、GeminiとOpenAIの検索モデルに提示する。これらのAIモデルはWeb上の情報を参照して回答を生成する。各AIモデルが出した回答は、著者が追跡している「エンティティ」（ここでは著者自身という情報源）をどの程度的確に識別し、記述しているかによって、0点から3点までの範囲で採点される。0点は全く認識していない、3点は完璧に認識している、といった具合だ。最終的な「ブレンドスコア」は、すべての質問でAIが獲得した合計点数を、すべての質問で獲得可能だった最大合計点数で割ることで算出される。例えば、ある日には16個の質問が用意され、それが二つのAIモデルに提示されたため、合計32個の回答が生成された。各回答が3点満点なので、最大で96点（32回答 × 3点）を獲得可能だった。実際に獲得した点数が28点だったため、ブレンドスコアは28割る96で29.2%となったわけだ。

しかし、この29.2%という数字が示す実態は、質問の種類（「質問バケット」と呼ばれる）によって大きく異なる。質問はいくつかのカテゴリに分けられている。たとえば、「Direct」というバケットは、著者の名前で直接尋ねた場合のAIの反応を見るものだ。このカテゴリでは、AIは18点満点中16点を獲得し、88.9%という高いスコアを示した。これは、AIが著者の名前が提示された場合には、その人物をほとんど正確に認識できることを意味する。一方で、「Genre recommendation」（ジャンルの推薦）というバケットでは、AIに「この著者が得意とする分野で他にどんな人を知っているか」といったオープンな質問をした場合だ。このカテゴリでは、36点満点中わずか6点しか獲得できず、スコアは16.7%と非常に低かった。さらに、「Genre」（ジャンル）や「Comparison cluster」（比較クラスタ）、そして「Research」（調査）といった、より抽象的で間接的な質問バケットでは、AIは全く点数を獲得できず、0%だった。この内訳を見ると、全体の29.2%という数字は、AIが名前を直接尋ねられた場合にはよく答えるが、間接的な質問や、関連する情報・人物を自発的に想起させるような質問にはほとんど答えられないという、偏った状況を反映していることがわかる。ブレンドスコアが低いのは、AIが苦手とする質問タイプの数が多かったからに他ならないのだ。

著者がこのブレンドスコアという一つの数字だけでは、AIの真の理解度を判断できないと考えるのには、主に三つの理由がある。一つ目は、質問の構成（バケットの重み）によってスコアが大きく変動してしまうことだ。もし、著者がAIが得意とする「Direct」な質問をさらに追加した場合、AIモデルの性能が何も変わっていなくても、全体のブレンドスコアは大幅に上昇する可能性がある。これは、AIの能力自体を評価しているのではなく、単に質問リストの構成が結果を左右しているに過ぎない。二つ目は、小さな質問バケットの信頼性の低さだ。例えば、回答数がわずか2つのバケットの場合、一つの回答が正解か不正解かで、そのバケットのパーセンテージが大きく50ポイントも変動してしまう。このような小さな変動は、実際のAIの性能の変化ではなく、単なるノイズである可能性が高い。このため、回答数が少ないバケットのスコアは、滑らかな変化として見てはならない。三つ目は、複数のAIモデル間のスコア差が、見た目ほど大きくない可能性があるという点だ。この評価では、Geminiが35.4%、OpenAIの検索モデルが22.9%と、約12.5ポイントの差があった。しかし、これは絶対的な点数で言えば、たった2つの質問に対して完全に正しい回答をしたかどうかの差に過ぎない。これだけのわずかな差で、どちらのモデルが優れているかを判断するのは早計であり、さらに多くのデータが必要となる。

これらの理由から、著者は単一のブレンドスコアを信用せず、代わりに**各質問バケットごとの獲得点数、可能な最大点数、そして最も重要な「n」（そのバケット内の回答数）**を詳細に報告することを推奨している。パーセンテージを提示する場合でも、必ずその横に「n」を併記することで、その数値の信頼性を判断できるようにする。また、著者は特に「モデルがこの人物を知っているか（Direct）」という質問と、「モデルがこの人物を自発的に想起するか（Genre）」という二つの異なる問題を混ぜて評価してはいけないと強調している。前者はAIが情報を参照する能力を、後者はAIが情報を関連付けて思考する能力を測るものであり、それぞれ異なる課題を抱え、異なる改善策が必要だからだ。これらを平均化してしまうと、どちらの問題に対する示唆も曖昧になってしまう。

10月21日のデータを正直に読み解くと、非常に簡潔な結論が得られる。それは、著者の名前を直接尋ねた場合、二つのAIモデルはほとんどの場合正しく情報を認識するが、オープンなジャンルの質問で著者を自発的に想起することはほとんどない、ということだ。特に後者の「自発的想起」の能力こそが、AIの深い理解度を示す重要な指標であり、これを毎週追跡していく価値がある。ただし、この「自発的想起」に関するバケットのスコアが意味のある変化を示すためには、さらに多くの質問データを集積する必要があるとも述べられている。

現状の評価にはいくつかの限界がある。このデータはたった1日分の、各AIモデルにつき16個の質問という限られた範囲で収集されたものだ。そのため、1つや2つの回答の差は、単なる偶然やノイズの範囲に収まってしまう可能性がある。より信頼性の高い分析を行うためには、今後、数週間分のデータを集め、質問バケットごとにデータを統合してから比較検討していくことが次のステップとなるだろう。このようなAIの評価と分析の考え方は、システムエンジニアを目指す上で、AIの性能を正確に理解し、より良いAIシステムを設計するための基礎となる重要な視点である。