【ITニュース解説】I Ran the Same Usability Study Twice—Once with AI, Once as a Human Moderator.

システムやアプリケーションを開発する際、それがどれだけ使いやすいかは非常に重要だ。どんなに優れた機能を持っていても、使う人が迷ったり操作しにくかったりすれば、その価値は十分に発揮されない。そこで重要となるのが「ユーザビリティテスト」という手法だ。これは、実際にユーザーにシステムを操作してもらい、その使いやすさや改善点を見つけるためのテストのことだ。そして、このテストを円滑に進め、ユーザーから有益なフィードバックを引き出すために、「モデレーター」と呼ばれる進行役が不可欠となる。モデレーターは、テスト参加者がシステムを使っている様子を観察し、質問を通じて彼らの考えや感情、困惑している点などを深く引き出す重要な役割を担う。

しかし近年、人工知能（AI）技術の急速な進化により、このモデレーターの役割をAIが代替できるのではないかという議論が活発になっている。今回取り上げる記事では、まさにこの疑問に正面から向き合った興味深い実験が紹介されている。記事の筆者は、とあるシステムのユーザビリティテストを二つの方法で実施した。一つは人間がモデレーターを務める従来の方法、もう一つはAIツールがモデレーターを務める方法だ。まったく同じシナリオ、同じタスクを参加者に体験してもらい、両者の結果やプロセスを比較することで、AIと人間のモデレーターそれぞれの強みと弱みを明らかにしようと試みた。

まず、AIモデレーターを使ったテストの大きな利点として、その「効率性」と「コスト削減」が挙げられる。人間モデレーターの場合、テストのスケジュール調整や準備、そして実施には多くの時間と人件費がかかるが、AIツールを使えばこれらの手間が大幅に省ける。筆者の経験からも、AIは人間よりも迅速にテストを開始でき、さらに同時に多くの参加者に対してテストを実施できる「スケーラビリティ」も高い。これは、多数のユーザーから短期間で多くのフィードバックを集めたい場合に非常に有効だ。また、AIは設定されたスクリプトに忠実に質問を進めるため、「一貫性」が保たれる点もメリットだ。人間モデレーターは、どうしてもその日の体調や気分、あるいは個人の解釈によって質問のニュアンスが変わってしまう可能性があるが、AIにはそれがなく、常に同じ条件でテストを進めることができるため、結果の比較もしやすくなる。さらに、人間の主観的な「バイアス（偏り）」が結果に影響を与えるリスクも少ない。AIは感情を持たないため、参加者の発言に対して先入観なく、客観的にデータを収集できるという側面もある。

一方で、AIモデレーターには明確な限界も存在する。最大の課題は「共感の欠如」と「適応性のなさ」だ。人間モデレーターは、参加者が困っている様子を見れば、表情や声のトーンからその感情を察し、適切な言葉で励ましたり、質問の仕方を調整したりできる。しかしAIは、参加者が言葉に出さない感情や、困惑しているといった非言語的な情報を読み取ることが難しい。そのため、参加者が本当は抱えている不満や、なぜある行動を取ったのかといった「深い洞察」を引き出すことが困難だったと筆者は述べている。また、AIは事前に設定されたスクリプトから外れた質問や、予期せぬ状況には対応できない。例えば、参加者が想定外の場所でつまづいたり、全く異なる視点からの意見を述べたりした場合、人間モデレーターであれば柔軟にその場で質問を深掘りできるが、AIはそれができない。結果として、表面的なデータしか得られず、本当に重要な改善点を見逃してしまう可能性がある。さらに、参加者との間に「信頼関係」を築きにくい点も指摘されている。人間同士であれば、会話を通じて安心感が生まれ、より率直な意見や感情を打ち明けやすくなるものだが、AI相手ではそうはいかず、本音が引き出しにくいという難しさがある。

対照的に、人間モデレーターの強みは、まさにAIの弱みである部分に集約される。人間モデレーターは、参加者の言葉だけでなく、表情や仕草といった非言語的な情報からも多くのことを読み取ることができる。これにより、参加者が本当に何を感じ、何を求めているのかを深く理解し、共感に基づいた対話を通じて「質の高いフィードバック」や「深い洞察」を引き出すことが可能だ。また、テスト中に予期せぬ出来事や参加者の行動があったとしても、人間モデレーターは臨機応変に質問を調整し、テストの方向性を変えることができる。これにより、事前に想定していなかった新たな問題点や改善のヒントを発見することもある。参加者との間に「信頼関係」を築くことで、よりオープンで建設的な議論を促し、表面的な問題だけでなく、その根底にあるユーザーのニーズや課題を探ることができるのも、人間ならではの強みだ。しかし、人間モデレーターにも課題はある。最も顕著なのは「コストと時間」だ。優秀なモデレーターの確保や、テストの実施、データの分析には、それなりの費用と労力がかかる。また、複数人でテストを実施する場合、モデレーター個人のスキルや経験、解釈の仕方の違いによって、「結果に一貫性がなくなる」リスクも存在する。個人の「バイアス」がフィードバックの収集や解釈に影響を与えてしまう可能性も否定できない。

筆者の実験と考察から明らかになったのは、AIモデレーターと人間モデレーターのどちらか一方が優れているという単純な結論ではないということだ。それぞれに明確な強みと弱みがあり、互いに補完し合える関係にある。AIモデレーターは、多くのユーザーから素早く、数値で表せる客観的なデータを集めたい場合や、事前に定義されたタスクの完了率、時間といった客観的な指標を効率的に計測したい場合に非常に強力なツールとなる。一方で、人間モデレーターは、ユーザーがシステムに対してどのような感情を抱いているのか、なぜその行動を取ったのかといった深い心理や、予期せぬ課題、そして新しいアイデアを引き出したい場合に不可欠だ。複雑な思考プロセスや感情的な側面を理解するには、人間ならではの共感力と柔軟な対話能力が求められる。システムエンジニアを目指す皆さんにとって、この知見は非常に価値がある。システム開発のプロセスにおいて、ユーザーの声を収集する方法は多岐にわたるが、この二つのモデレーション方法の特性を理解していれば、開発するシステムやプロダクトのフェーズ、目的、予算に応じて最適なテスト手法を選択できるようになるだろう。例えば、開発の初期段階で大まかな方向性を確認したい場合はAIを使い、詳細なユーザー体験の改善や、新しい機能の深掘りには人間モデレーターを投入するなど、両者を「組み合わせる」ハイブリッドなアプローチも考えられる。ユーザーの視点に立ち、使いやすく、価値のあるシステムを提供するためには、このようなユーザビリティテストの工夫が欠かせない。AIの進化は、人間の仕事を奪うのではなく、より質の高い仕事に集中するためのツールとして活用できる可能性を示していると言えるだろう。