【ITニュース解説】The Hardest Part of a Proactive Assistant Is Knowing When Not to Speak

今日のITシステムでは、ユーザーが何かを求める前に、AIが先回りして情報を提供したり、タスクを支援したりする「プロアクティブアシスタント」が注目されている。例えば、スケジュールに基づいて会議の資料を提案したり、飛行機の遅延を通知したりするような仕組みだ。このようなアシスタントを作る際、「どうやって役立つ情報を生成するか」という部分に多くの開発者が注力しがちである。パターンを認識するAIモデルや、洞察を分かりやすく表現する方法など、技術的な挑戦が多いからだ。

しかし、実はもっと難しい課題がある。それは、AIが「これは役立つ情報だ」と判断した後に、「本当に今、このタイミングでユーザーに伝えるべきなのか？」という判断を下すことである。もしAIが間違ったタイミングで通知を出したり、ユーザーにとって不要な情報を送り続けたりすると、ユーザーはすぐにその通知を無視し始めるだろう。一度無視された通知は、二度とユーザーの目に触れることはない。ユーザーに「うるさい」と思われてしまうと、システムへの信頼は大きく失われ、取り戻すのは非常に難しい。だから、AIアシスタントの成功は、単に多くの情報を提供することではなく、「いつ沈黙すべきか」を適切に判断する能力にかかっている。この「抑制」の仕組みこそが、システムの最も重要な部分であり、開発が最も難しい課題なのである。

一般的なシステムでは、AIが生成した候補の洞察にスコアを付け、そのスコアが一定の「閾値」（しきい値）を超えた場合に通知するという方法が取られがちである。しかし、この方法はうまくいかないことが多い。なぜなら、「通知しない」理由は一つではないからだ。「この情報はこの人向けではない」「深夜だから伝えるべきではない」「ユーザーがすでに何度もこの種の通知を無視している」など、さまざまな異なる理由が存在する。これらの多様な理由を、たった一つの数値（閾値）で判断しようとすると、個々の理由が曖昧になり、どこを調整すれば良いのか分からなくなってしまう。さらに悪いことに、通知が抑制された場合、システムは「なぜ通知しなかったのか」という具体的な理由を記録しないことが多い。単に「通知しない」という結果だけが残り、その行動が適切だったのか、どのように改善すれば良いのか、データに基づいて検証することができなくなるのである。

このような問題を解決するために、新しい設計では、通知の判断を二つの明確な質問に分ける。「この情報はそもそも伝える価値があるのか？」と「この情報を今、この人に伝えるべきなのか？」だ。最初の質問「この情報はそもそも伝える価値があるのか？」は、情報の内容そのものに関する判断である。例えば、その情報がどれだけ正確か、どれだけ強い根拠に基づいているか、そしてそもそもその情報が製品としてユーザーに伝えるべき性質のものか、といったことである。これは、AIモデルが情報そのものを分析して判断する部分であり、時間帯などとは関係がない。二つ目の質問「この情報を今、この人に伝えるべきなのか？」は、ユーザーや状況に関する判断である。ユーザーが通知を許可しているか、好みの時間帯はいつか、過去にどのような通知を受け取ったか、通知の予算（一日に送る通知の数）はどうか、といったことである。これは、情報の面白さとは関係なく、システムのポリシーやユーザーの設定に基づいて判断される。これら二つの質問を完全に分離し、それぞれをシステム内の異なる場所に配置することで、例えば情報の表現方法を変更しても、ユーザーに通知するタイミングのルールには影響しないし、その逆も可能になる。これにより、開発や改善がずっとしやすくなるのである。

この新しい設計では、システムがユーザーに伝えようとする全ての情報が、必ず一つの「配信ゲート」を通過する仕組みになっている。このゲートでは、情報がユーザーに届くまでに、決まった順序で約12個のチェック項目をクリアする必要がある。例えば、システム全体の緊急停止スイッチ、ユーザーが通知を許可しているか、プロアクティブ機能が有効か、静寂時間帯ではないか、新規ユーザー向けの信頼育成期間中か、といった項目だ。もし情報がこれらのチェックのいずれかで引っかかった場合、ゲートは通知を拒否し、どのチェックで拒否されたかという具体的な理由を記録する。これにより、「なぜ通知されなかったのか」という問いに明確な答えを出すことができるようになる。

この単一ゲート方式には大きな利点がある。まず、透明性だ。通知が抑制された理由がログに残るため、開発者は後からその理由を確認し、分析することができる。これは、システムの改善に不可欠な情報となる。次に、順序の明確化だ。例えば、ユーザーの通知同意は他のどのチェックよりも先に行われるべきである。もし同意がないのにユーザーの好みを評価しても意味がない。このゲートでは、これらの順序がコードに明示されているため、意図しない挙動を防ぐことができる。最後に、変更の容易さだ。新しいルールを追加したい場合でも、単にこのゲートのチェックリストの中に新しい項目を挿入するだけで済む。システム全体の他の部分を細かく確認する必要がないため、変更に伴うリスクが大幅に減る。特に重要なチェックの一つに「信頼育成期間」がある。これは、新規ユーザーに対して、最初の7日間は特に重要な通知だけを送り、システムへの信頼をゆっくりと築いてもらうための仕組みである。ユーザーがシステムに慣れていない時に、たくさんの通知を送ってしまうと、すぐに「うるさい」と思われてしまうため、この期間は「沈黙」を重視する。

配信ゲートが通知を抑制した理由を全て記録することで、開発者は「今日何件の通知を送ったか」という表面的な数字だけでなく、「システムが伝えようとした全ての情報のうち、どれだけが、どの理由で抑制されたか」という、より深い分析ができるようになる。例えば、夜間の「静寂時間」に多くの通知が抑制されているなら、情報の検出が間違った時間帯に行われている可能性を示唆している。また、1日の通知予算によって多くが抑制されているなら、システムが似たような状況に対して複数の提案を出しすぎているのかもしれない。これらの情報は、AIモデルやシステムの検出ロジックそのものの改善に繋がる。さらに重要なのは、「沈黙」を正しく評価することだ。システムが何も言わないことが正しい場合でも、従来の評価方法では「何も起きなかった」ことを測りにくい。だから、特別なデータセットを作り、システムが不必要に話した場合にマイナス評価を与えるようにするのである。「沈黙」は、情報の正確さ、根拠、製品としての適切さなどと並び、AIアシスタントの品質を測る上で非常に重要な要素となる。この評価方法を導入したことで、単にダッシュボードの数字を見るだけでなく、製品そのものの改善に繋がったのである。

もちろん、この仕組みにもまだ改善の余地はある。例えば、AIが通知の「言い回し」を評価する部分は、人間による判断に依存しており、まだ完全に精度が高いとは言えない状態である。また、ユーザーごとの一日の通知予算を管理する仕組みは、現在のところ一時的な記録方法に留まっており、将来的に多くのユーザーを抱えるシステムに拡張するには、より安定したデータ保存方法へ移行する必要がある。これらは、今後の開発課題として認識されている部分である。

この設計が正しいと確信しているのは、開発者自身が過去に逆の順番でシステムを構築し、それがうまくいかなかった経験があるからである。以前のプロジェクトでは、まず「どうやって多くの通知を効率的に送るか」という配信機能に注力し、抑制機能は後回しにした。しかし、一度ユーザーが多くの通知に慣れてしまうと、そこから通知の数を減らすことは非常に難しい。ユーザーはすぐに不満を感じ、システムを信用しなくなってしまう。この経験から、プロアクティブアシスタントを開発する上で、まず「いつ、何を言わないか」という抑制の仕組みを最初に、そして最も重要に構築すべきだと学んだ。ユーザーが通知を使い続けるかどうかは、どれだけ賢く情報を生成するかよりも、どれだけ賢く「沈黙」できるかにかかっているのである。