行動前の内部状態に履歴整理の必要性が表れる
Memory Control Signals Emerge Before Action in Long Horizon Agents
この論文をやさしく読む
ひとことで言うと
エージェントの行動直前の内部表現から、履歴を圧縮するか過去を呼び戻すかの必要性を読み取り、文脈を管理する研究。
何に役立つ？
長時間動くエージェントの文脈費用を減らし、必要な古い情報を選んで戻す設計に役立つ。
この研究の面白いところ
文脈の長さだけでは説明できない記憶操作の信号を見つけ、短い最近の文脈と過去の証拠を組み合わせる。
どこまで分かった？
文脈削減の実験はWorkBuddyBenchで行われた。要旨には削減率の具体的な数値はない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
長時間動く言語モデルエージェントはやり取りの履歴を増やし続け、計算費用を高めるとともに、重要な情報を保持して再利用することを難しくする。既存の文脈管理は主に履歴をどう圧縮・検索するかに注目し、その操作が起きる前にモデル自体が必要性を表しているかという問いを残している。本研究はエージェントの各行動直前の内部状態を調べ、圧縮と想起の必要性がすでに内部表現に符号化されていることを見つけた。これらの信号は単純な文脈の長さややり取りの進み具合だけでは説明できず、モデルの深さによって異なる形成パターンを示す。さらに、記憶操作の判断に必要な情報の大部分は最近の短い文脈に残る一方、選んで復元した過去の証拠が、最近の文脈だけでは捉えられない長距離の依存関係を補うことを示す。これらに基づき、状態に導かれる圧縮と外部証拠の検索を組み合わせたPreaction Memory with Evidence Retrieval（PaMER）を提案する。PaMER+では、現在のタスクに必要な履歴情報だけを回復するため、各段階で証拠を選ぶ仕組みも加える。WorkBuddyBenchで、複数の文脈管理基準とモデル基盤にわたる実験では、タスク性能を競争力のある水準に保ちながら文脈消費を大幅に減らした。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Long horizon language model agents continuously accumulate interaction history, increasing computational cost while making relevant information harder to preserve and reuse. Existing context management methods mainly focus on how to compress or retrieve history, but largely leave open whether the model itself already represents the need for these memory operations before they occur. We study the hidden state immediately before each agent action and find that compression and recall needs are already encoded in the model's internal representations. These signals cannot be explained by simple context length or interaction progress, and they exhibit distinct formation patterns across model depth. We further show that most memory decision information is preserved in a compact recent context, while selectively restored historical evidence complements the long range dependencies that recent context misses. Based on these findings, we propose Preaction Memory with Evidence Retrieval (PaMER), which combines state guided compression with external evidence retrieval. PaMER+ further introduces step level evidence selection to recover only the historical information required by the current task. Experiments on WorkBuddyBench, across multiple context management baselines and model backbones, show that our framework substantially reduces context consumption while maintaining competitive task performance.
著者のコメント
35 pages
arXiv ID: 2609.27286 ／ 要約の誤りについて