【ITニュース解説】[FEATURE] suggest starting a new conversation when resuming a large/stale session

AIエージェント、特に大規模言語モデル（LLM）を利用したシステムは、近年急速に進化している。しかし、実際に現場で運用されているエージェントが、時として「頭が悪くなった」と感じられるような振る舞いをすることがある。この問題の多くは、実はモデル自体の性能低下ではなく、エージェントが情報をどのように記憶し、いつその情報を忘れるか、という「メモリ管理」の仕組みに深く関係している。

具体的な事例として、いくつかの公開されている問題報告が挙げられる。一つ目は、エージェントとのセッション（対話履歴）が長大になったり、しばらく使わずに古くなったりした後に再開する際、エージェントが新しい会話の開始を提案すべきだという要望だ。なぜなら、古いセッションをそのまま再開すると、現在の作業とは無関係な過去の膨大なコンテキスト（文脈）まで引きずってしまい、エージェントが的確な応答をしにくくなるからである。

二つ目の報告は、エージェント内で一時的に動作する「サブエージェント」が、その役目を終えて停止した後もメモリ上に残り続け、手動で削除しないと消えないというバグに関するものだ。これは、不要になった情報がいつまでもシステム資源を占有し続ける問題を示している。

三つ目は、システムがインデックス化（検索可能に整理）したメモの中から、ある一文を完全に引用したキーワードで検索しても、そのメモが返ってこないという報告だ。これは、情報が保存される際に何らかの形で加工・要約されてしまい、元の正確な情報が失われている可能性を示唆している。

これらの問題は、一見するとそれぞれ異なる状況で発生しているように見えるかもしれない。しかし、その根源には共通する一つの課題がある。それは、「境界や計画のないメモリ」と表現できる。エージェントが何の情報を取り込み、何を保持し、いつ不要な情報を捨てるか、そして誰がそれを決定するのか、といったルールが明確でなく、その場の状況に任されがちなのだ。

こうした問題に対して、単純な解決策として誤解されやすいアプローチが二つある。一つは「より良いプロンプト（指示文）」を与えることだ。しかし、プロンプトはあくまでエージェントへの「入力」であり、過去の情報を永続的に保存する「ストレージ」ではない。過去のセッションで決定された重要な情報がどこにも記録されていなければ、どんなに優れた指示を与えても、その情報を思い出させることはできない。もう一つは「より大きなコンテキストウィンドウ」を使うことだ。コンテキストウィンドウとは、エージェントが一度に処理できる情報の量のことで、これが大きくなれば一時的に記憶できる情報が増える。しかし、これは単に「壁を移動させる」だけであり、根本的な解決にはならない。なぜなら、コンテキストウィンドウ内の情報は一定のルールで要約されたり破棄されたりするため、その時に永続的に保存されなかった情報は最終的に失われてしまうからだ。古いセッションを再開する際に問題になるのは、まさにこの点であり、技術的にはコンテキストが「そこにある」としても、それが現在の状況には全く適用できない、無関係な情報のかたまりになってしまっているのだ。

これらの問題の共通の解決策として考えられるのは、エージェントとの対話履歴（トランスクリプト）と、実際に処理を行うモデルとの間に、新しい層を設けることである。この層は、情報が書き込まれる（記録される）時点で、「何が保持する価値があるか」を判断し、それを正確な形で保存し、残りの不要な情報を計画的に破棄する役割を担うべきだ。つまり、情報を「いつ、どのように、何を」保存し、「いつ、どのように、何を」破棄するか、という明確な計画と境界が必要なのだ。

実際に、このような考え方に基づいて、エージェントのメモリ層を設計する上で五つの重要な「書き込み時のルール」が提案されている。 一つ目のルールは、決定事項は書き残す、ということだ。エージェントとの対話で得られた好み、決定、結論といった重要な情報は、後で参照できるように、情報源とタイムスタンプを付与して永続的なローカルストレージに保存されるべきである。これは、古いセッションを再開する際に新しい会話を提案してほしいという要望と逆の考え方であり、一度決定されたことは、その都度再確認する必要がないように、きちんと記録されているべきだということを意味する。

二つ目のルールは、要約や破棄を行う前に、必ず永続的なコピーを作成する、ということだ。エージェントが作業中のコンテキストを要約したり破棄したりする前に、その内容の信頼できる永続的なコピーが作成され、それがきちんと保存されたことを確認する。これにより、要約機能は「便利さ」のためのものとなり、情報が失われる唯一の原因とはならない。停止したサブエージェントがメモリに残り続ける問題は、このルールの裏返しとも言える。情報が永久に回収されないメモリは、情報が失われるのと同様に悪い状況なのだ。

三つ目のルールは、情報の忘却には境界を設け、スケジュールに基づき、そして「ピン留めされた記録」は決して劣化させない、ということだ。無限に情報を保持し続けるメモリは、必ずしも良い機能とは言えない。関連性がなくなったセッションは、永久に持ち越されるのではなく、一定のスケジュールで期限切れとなるべきである。一方で、ユーザーが明示的に「ピン留め」した重要な記録は、この忘却の対象から除外される。これは、新しい会話を提案してほしいという要望のさらに上のレベル、つまり、セッションが保持する情報の明確な境界を意図的に設けることを意味する。

四つ目のルールは、検索結果は元の言葉を返す、ということだ。もし情報が保存される時点で既に要約され、情報が損なわれていた場合、どんなに優れた検索アルゴリズムを使っても、本当に必要だった元の言葉を見つけ出すことはできない。引用した一文が検索でヒットしないという問題は、検索の品質が、情報の「書き込み（保存）」品質によって上限が定められることを思い出させる。つまり、検索ランキングは二番目に重要な要素であり、一番は正確な情報の保存なのだ。

そして五つ目のルールは、プライバシーの境界は設定として明確にする、ということだ。どの情報がどこに保存され、どの情報がシステム外に送信される可能性があるのかは、曖昧なポリシーの説明ではなく、明確な設定として定義されるべきである。特に、重要な決定事項を保持するメモリは、この境界を明確にしておく必要がある。そうでなければ、実際に行われているデータ処理を監査（検証）することが困難になる。

これらのルールを適用することで、前述の問題症状は以下のように解決される。 大規模で古いセッションの再開時に、必要な情報だけが範囲を絞って検索・取得されるようになる。古い記録はスケジュールに従って期限切れとなり、ピン留めされた重要な記録は残る。 停止したサブエージェントがメモリに残り続ける問題に対しては、情報の記録と同時に、不要になった際の「回収契約」が結ばれる。つまり、参照されなくなった記録は自動的に回収され、蓄積されなくなる。 引用した文章が検索でヒットしない問題は、書き込み時に、要約ではなく正確な原文の形で記録されることで解決される。 そして、「エージェントが我々の決定を忘れた」という問題は、決定事項がアドレス、情報源、タイムスタンプを持って永続的に保存されるため、別のセッションからでも容易に再発見できるようになる。

もちろん、このようなメモリ管理の改善策にもまだ課題は残されている。例えば、ハイブリッドランキング（複数の手法を組み合わせた検索順位付け）は依然として非常に難しく、引用された文章が常に要約より上位に来るとは限らないし、短いクエリが長い記録に対して失敗することもまだある。また、スケジュールに基づく情報の忘却には、「関連性」という概念をうまく定義する必要がある。関連性の判断を厳しくしすぎると、重要な情報が誤って削除される可能性があり、逆に緩すぎると、再び無限のメモリの問題に戻ってしまう。さらに、情報の種類をモデルに分類させる場合、一定の割合で誤分類が発生する可能性も考慮する必要がある。これはデータが完全に失われるよりは静かに失敗するが、やはり問題である。

このように、AIエージェントの「頭が悪くなった」と感じる問題の多くは、根本的に情報をどのように記憶し、整理し、そして忘れるか、というメモリ管理の設計にかかっている。