【ITニュース解説】Tencent's Hy Memory Is Only as Good as the LLM That Writes It. I Measured It on LongMemEval

大規模言語モデル（LLM）は、私たちの生活やビジネスにおいてその能力を広げているが、過去の会話内容を正確に記憶し、必要に応じて参照する「記憶システム」の構築は、いまだ多くの課題を抱えている。今回、Tencentが「Hy Memory 2.0」というオープンソースのフレームワークを発表し、その記憶性能がどのようなものか、詳細な検証結果が公開された。この検証は、LLMを用いた記憶システムの設計や評価を行う上で、非常に重要な洞察を与えている。

Hy Memory 2.0は、会話から「事実」を抽出し、それを長期的な記憶として保持する新しいアプローチを採用している。具体的には、LLMを使ってユーザーとの会話一つ一つを分析し、「ユーザーは〇〇に興味がある」や「〇〇という目標を設定した」といった具体的な事実の形に変換する。そして、新しい事実が追加される際に、既存の記憶と矛盾がないように調整（古い情報と新しい情報を照合し、必要に応じて更新したり履歴として保持したりする）を行う。このフレームワークは、「MemHub」というアプリを通じて、複数のAIツール間で記憶を共有できる機能も提供している。

この検証を行った著者は、自身も「Aura」というオープンソースの記憶ライブラリを開発しており、LLMの記憶システムが失敗しやすいと考える二つの重要な点に注目した。一つ目は、過去に述べられた事実が後で変更された際に、古い情報を回答してしまう「知識の更新忘れ」という問題。二つ目は、誰が何を言ったかを忘れてしまう、特にアシスタント自身が以前に何を提案したかを忘れてしまう問題である。これらの失敗は、AIとの会話の信頼性を損なう原因となるため、システム設計において極めて重要だ。

AuraはHy Memory 2.0とは異なる記憶のアプローチをとる。Auraは会話の各ターン（一回の発言のまとまり）を、発言者や日時情報を含めて、会話内容そのままの形で記憶として保持する。そして、記憶から情報を参照する際には、LLMは使わず、関連性の高い会話の断片を検索する技術（エンベディング）を用いて情報を抽出し、それらを回答生成のための情報として提供する。この方法では、会話の内容を要約したり、事実として変換したりする際にLLMを使用しないため、書き込み段階での情報の欠落を防ぐことが期待される。

検証は「LongMemEval」という公開されているベンチマーク（性能評価テスト）を使って行われた。このベンチマークは、約50件の会話履歴を含んだ質問セットで構成されており、答えはその履歴の中に隠されている。検証では、以下の三つの質問タイプに焦点を当て、各タイプ20問（一部テストでは10問）が使用された。一つ目は「知識更新」タイプで、以前に述べられた事実が後に変更された場合に、最新の情報を回答できるかをチェックする。二つ目は「アシスタントの発言」タイプで、答えがアシスタント自身の過去の発言の中にしかない場合に、それを記憶しているかを試す。三つ目は「ユーザーの発言」タイプで、ユーザー自身の過去の発言の中に答えがある場合を対象とし、これはコントロール（基準）として用いられた。両システムには同じ会話履歴と質問が与えられ、回答の生成と採点には共通のLLM（Gemini 3.8 Flash）が使われたため、公平な比較が可能であった。

最初のテストでは、Hy Memory 2.0が記憶の書き込み（会話を事実へ変換する処理）に安価なLLMであるGemini 3.8 Flashを使用した結果、全体の正答率は43%と低かった。これに対し、Auraは95%という高い正答率を記録した。特に、「アシスタントの発言」タイプでは、Hy Memoryは0%の正答率であり、アシスタント自身が発言した内容を全く記憶できていないことが明らかになった。Hy Memoryのミスの多くは「その情報を持っていません」という回答だった。著者は、Hy Memoryが記憶として保持する事実の量が少ないためではないかと考え、記憶容量を増やして再テストしたが、正答率はほとんど変わらなかった。このことから、情報は会話が「事実」に変換される段階で失われてしまっていることが強く示唆された。例えば、「本を読み終えた」という新しい事実があったにもかかわらず、以前の「感情的すぎて脇に置いた」という古い情報を記憶していたり、ユーザーの目標値が変更された際に以前の目標値を忘れてしまったり、アシスタントが推奨した内容が記憶されなかったりといった具体的な事例が確認された。

次に、Hy Memoryの書き込みに、より高性能で高価なLLMであるClaude Opus 5.5を使用した追加テストが行われた。この結果、「知識更新」タイプではHy Memory（Claude Opus使用）は90%の正答率を達成し、Auraと同等の性能を示した。これは、Hy Memoryが事実の履歴を適切に保持する設計であることが、高性能なLLMを使うことで活かされることを意味する。しかし、「アシスタントの発言」タイプでは、Claude Opusを使用した場合でもHy Memoryの正答率は40%にとどまり、Auraの100%には及ばなかった。Claude OpusはGemini Flashよりもアシスタントの発言の一部を記憶に保存できたものの、依然として半分近くが失われていた。

これらの性能差には、コストと時間が大きく影響していた。Hy Memoryは、会話を事実へ変換するためにLLMを呼び出すため、ユーザー一人あたり約50回の会話履歴を処理するのに、Gemini Flashを使うと約15分、Claude Opusを使うと約11分かかる。また、Claude Opusを使う場合は約5ドルという費用が発生する。一方、Auraは書き込み時にLLMを呼び出さないため、同じ処理がわずか36秒で完了し、追加費用もかからない。つまり、Hy Memoryは書き込み時のLLMの質とコストによって性能が大きく変動し、高い性能を得るためには相応の費用と時間が必要となる。

Hy Memoryが情報を失う主な理由は、会話の情報を「ユーザーに関する事実」として要約することにある。このアプローチは記憶を小さく整理できるという利点があるものの、LLMが「ユーザーに関する事実」と判断しない内容、例えばアシスタント自身が提案した内容や、LLMが重要ではないと判断した詳細、あるいは古い事実とみなされた情報などが、要約の過程で捨てられてしまう。Auraはこれとは対照的に、会話内容をそのまま保持し、どの情報が重要かを最終的に回答生成時のLLMに判断させるため、書き込み時に情報を失うリスクが低い。

この検証にはいくつかの限界点もあった。LongMemEvalの全6種類の質問タイプのうち3種類しかテストしておらず、特に、複数の会話セッションにまたがる推論や時間的な推論、ユーザーの好みといった、要約によって記憶が整理され、かえって性能が向上する可能性のある側面は評価されていない。また、テストサンプル数が少なかったこと、Tencent自身の30B記憶モデルは利用できなかったため、Claude Opusが最も近い比較対象として用いられたこと、Hy Memoryの全てのモードをテストしたわけではないことなども挙げられる。

今回の検証から得られる重要な教訓は、LLMで会話を要約して記憶するシステムを評価する際には、どのLLMを使えば良い性能が出るのか、そしてそのLLMを使うのにどのくらいのコストがかかるのかを、実際のデータで確認する必要があるということだ。そして、「前回何を推奨しましたか？」のように、ユーザーがアシスタント自身の過去の発言について尋ねることが多いため、アシスタントの発言を記憶システムが保持できるかどうかも、システム選定の重要な基準となる。システムエンジニアを目指す上で、このような記憶システムの設計思想の違いや、それに伴う性能、コスト、信頼性のトレードオフを理解することは非常に重要である。