arXiv論文メモ
新着一覧
cs.CL · 査読状況未確認

記憶の検索と生成を入力ごとに切り替えるMemoryAthena

MemoryAthena: Adaptive Routing over Latent and Generated Memories

Mingyuan Li, Guangsheng Yu, Juyuan Zhang, Xu Wang, Zhibo Man, Haonan Zhang, and Shaoxiong Ji

この論文をやさしく読む

ひとことで言うと

記憶を直接取り出す方法と、記憶を生成する二つの方法から、入力に応じて補助経路を選ぶ仕組み。

何に役立つ?

明示的な記憶を持つ言語モデルで、生成した情報が役立つ場合だけ使う設計の参考になる。要旨では質問応答と一般NLP課題での平均値を報告している。

この研究の面白いところ

生成記憶が邪魔になる場合は直接検索へ正確に戻し、役立つ場合は限定的に補間する。基盤モデルなどを固定し、小さなルーティング部だけを学習する。

どこまで分かった?

報告値は対象の5課題と6課題の平均で、すべての課題で改善したとは示していない。約2億100万パラメータには固定した基盤モデルを含まない。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

学習した記憶を使う方法では、情報を明示的な表に保存し、別の読み出し器で利用するため、アドレス指定、保存、読み出しを独立に変更できる。本研究は、記憶を検索するだけでなく生成しても有用かを調べる。MemoryAthenaには、Engramから直接検索するE、検索したEngramを手がかりに生成するGE、記憶表を参照せず因果的な基盤モデルの状態から生成するGHという三つの経路がある。生成した記憶は、ある文脈ではEを補うが別の文脈では妨げにもなるため、Eを基準とし、生成表現をいつ介入させるか学習する。基盤モデル、記憶、生成器、読み出し器を固定したまま、Eに対するGEとGHの将来トークン尤度の反実仮想的な優位性から、軽量の因果的ルーティング部を学習する。推論時には採用した候補が、範囲を制限した補間によってEの残差を修正し、候補を却下すれば直接検索の経路に正確に戻る。質問応答の5課題平均は、同じチェックポイントの直接検索経路の37.65から39.28へ、一般的な自然言語処理の6課題平均は76.73から79.13へ上がった。固定した基盤モデルを除く記憶側システム全体は約2億100万パラメータである。追加の分析では、課題や入力ごとにE、GE、GHに相補的な強みが見られた。これらの結果は、生成記憶が直接検索を選択的に補正し得ること、また、いつ、どの経路を、どれほど強く介入させるかが中心的な課題であることを示す。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-22(UTC)
最新改訂
2026-09-22 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Learned-memory methods store information in an explicit table and consume it through a separate reader, allowing addressing, storage, and reading to be modified independently. We study whether useful memory can also be generated rather than only retrieved. MemoryAthena uses three pathways: direct Engram retrieval (E), generation from retrieved Engram cues (GE), and generation from causal backbone states without consulting the memory table (GH). Generated memory is conditionally useful: it can complement E in one context but interfere with it in another. MemoryAthena therefore treats E as an anchor and learns when a generated representation should intervene. With the backbone, memory, generators, and readers frozen, a lightweight causal routing head is trained from counterfactual future-token likelihood advantages of GE and GH relative to E. At inference time, an admitted candidate modifies the E residual through bounded interpolation, while rejection recovers the direct pathway exactly. On question answering, MemoryAthena raises the five-task average from 37.65 to 39.28 over the direct pathway of the same checkpoint, while the six-task general-NLP average increases from 76.73 to 79.13. The complete memory-side system contains approximately 201M parameters, excluding the frozen backbone. Further analyses show complementary strengths among E, GE, and GH across tasks and inputs. These results support generated memory as a selective correction to direct retrieval and highlight routing when, which, and how strongly to intervene as the central challenge.

arXiv ID: 2609.25853 / 要約の誤りについて