対話をまたいで更新できる言語モデルの内部記憶
RPMem: Learning Long-Term Recurrent Parametric Memory Across Sessions for LLM Agents
この論文をやさしく読む
ひとことで言うと
AIエージェントが過去の会話を記憶として更新し、基盤モデルを替えても再利用できる仕組みを調べた。
何に役立つ？
考えられる用途は、長期間動くエージェントの記憶管理である。要旨の性能は三つのベンチマークで測られ、実運用での長期効果とは区別が必要である。
この研究の面白いところ
セッションごとの情報をモデル非依存の形にまとめてから統合し、利用時には基盤モデルごとのLoRAへ変換する二段階構成。
どこまで分かった？
評価は五つの基盤モデルと三つの長期記憶ベンチマークに基づく。あらゆるモデル交換や実利用状況で同じ成績になるとは要旨にない。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
長期に動く言語モデルのエージェントには、セッションをまたいで残り、変化する記憶が必要である。テキストの記憶は問い合わせのたびに過去のやり取りを検索・再構成するため、履歴が増すにつれて検索の質と文脈推論への依存が強まる。モデルの計算に経験を直接埋め込むパラメータ記憶もあるが、従来の方法はセッション間の記憶更新に十分対応せず、特定の基盤モデルとの結び付きも強いため、モデルを取り替えた後に再利用しにくい。著者らは2段階の仕組みRPMemを提案する。各セッションを順方向の計算で基盤モデルに依存しない潜在記憶にまとめ、課題に合わせて学習した再帰的なゲートで、保持している記憶へ選択的に統合する。統合後の記憶を基盤モデルごとの低ランク適応（LoRA）パラメータへ変換することで、基盤モデルが取り替えられても記憶を符号化する能力を移せる。三つの長期記憶ベンチマークと異なる五つの基盤モデルで評価し、更新費用と記憶容量をほぼ一定に保ちながら広い汎化を示した。Qwen3-8BとPERMAの組み合わせでは85.52％となり、最も強いパラメータ記憶とテキスト記憶の基準法をそれぞれ5.32、12.98ポイント上回った。構成要素を除く試験ではセッションの要約とセッション間の統合の役割がそれぞれ確認され、動態分析ではゲートが課題に応じた記憶統合方針を獲得したことが示された。結果は、基盤モデルの更新後にも使える、変化するセッション間記憶の枠組みとしてRPMemを位置づける。実装も公開されている。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-22 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Long-running LLM agents require memory that persists and evolves across sessions. Text-based memory retrieves and reconstructs past interactions at every query, making long-horizon performance increasingly dependent on retrieval quality and contextual reasoning as histories grow. Parametric memory encodes experience directly into model computation, but existing approaches provide limited support for cross-session memory evolution. Their coupling to a specific backbone further restricts memory reuse after model replacement. We introduce RPMem, a two-stage architecture that compiles each session into a model-independent latent memory through forward computation and selectively integrates it with retained memory via a task-trained recurrent gate. The consolidated memory is then mapped to backbone-specific low-rank adaptation (LoRA) parameters, allowing the encoding capability to transfer when the backbone is replaced. Evaluation across three long-term memory benchmarks and five diverse backbones demonstrates broad generalization with near-constant update cost and memory footprint. With Qwen3-8B on PERMA, RPMem reaches 85.52%, outperforming the strongest parametric and text-based baselines by 5.32 and 12.98 percentage points, respectively. Ablations validate the complementary roles of session compilation and cross-session consolidation, while dynamics analyses reveal that the gate acquires task-specific memory integration strategies. These results establish RPMem as a lifecycle-independent parametric memory framework that maintains evolving cross-session memory that remains reusable across backbone replacements. Our implementation is available at https://github.com/Quark-Medical/rpmem/tree/main.
著者のコメント
38 pages, 7 figures. Code: https://github.com/Quark-Medical/rpmem/tree/main
arXiv ID: 2609.23466 ／ 要約の誤りについて