圧縮されたユーザー嗜好を過去の内部表現から補正する
Not All Is Lost: Repairing Lossy User Preference States of Personalization Encoders
この論文をやさしく読む
ひとことで言うと
推薦や個人向け文章生成で、履歴を圧縮する際に使われなくなった嗜好の手掛かりを、保存された内部表現から取り戻して補います。
何に役立つ？
既存のエンコーダーと出力ヘッドを固定したまま、推薦や個人化の性能を改善する方法として役立ちます。履歴を再計算せず、既存の表現を再利用します。
この研究の面白いところ
情報が内部に残っていても最終的な判断に使われないという問題を分けて扱います。長期、直近、局所的なまとまりという異なる時間範囲から補正を選びます。
どこまで分かった？
改善は報告されたデータとモデルでの結果です。25.23%はPerSEvalの最大改善で、推薦のMRRのポイント差とは別の指標です。要旨にはこの割合が相対比かポイント差かの明示や、実利用者の評価はありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
個人化エンコーダーは、変化する対話履歴を、項目の順位付けや文章生成の条件に使う嗜好状態へ圧縮する。この状態だけで動作する課題ヘッドは、固定したエンコーダーが各時点についてキャッシュした表現には残っている有用な証拠を見落とすことがある。 本研究は、この回復可能性の隔たりを調べ、学習したコンパクトな座標空間で、キャッシュ表現と現在の嗜好状態を比較するREPAIRを提案する。長期間の履歴、最近の対話、局所的に集中した動きから補正に使える証拠を識別する。次に、どの時点のどのパターンを寄与させるかを選び、集約した補正を課題ヘッドに渡す前の状態へ加える。エンコーダーを持つモデルへの補正では、履歴を再符号化せず、既存の順伝播計算の表現を再利用する。 MovieLens、PENS、MIND、Amazon Reviews 2023を通じて、エンコーダーと課題ヘッドをともに固定し、REPAIRだけを学習すると、12の代表的な推薦モデル全てでMRRとnDCG@10が改善する。同じモデルでヘッドだけを微調整した場合の改善は小さい。例えばMovieLensのMamba4Recでは、ヘッドのみの微調整による0.19ポイントに対し、MRRが3.96ポイント改善する。ランクと時間の診断結果は、コンパクトで、基となるモデルに依存した補正構造を支持する。個人化生成では、IMPerSummが、ユーザー嗜好への応答性を評価する、報告対象の2種類の重み付きPerSEval指標を最大25.23%改善する。結果は圧縮後の状態補正を支持し、嗜好の証拠が存在することと、それが後段で使われることを区別する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01（UTC）
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Personalization encoders compress evolving interaction histories into preference states used to rank items or condition text generation. A task head operating only on this state can miss useful evidence that remains in the frozen encoder's cached representations for individual timesteps. We study this recoverability gap and propose REPAIR, which compares cached representations with the current preference state in a compact learned coordinate space. It resolves corrective evidence over extended history, recent interactions, and localized bursts. It then selects which patterns at which timesteps contribute and adds their aggregate correction to the state before the task head. Encoder-host repair reuses representations from the existing forward computation without re-encoding the history. Across MovieLens, PENS, MIND, and Amazon Reviews 2023, training only REPAIR improves MRR and nDCG@10 for all twelve representative recommendation hosts while both encoder and task head remain frozen. Head-only finetuning of the same hosts yields smaller gains. For example, Mamba4Rec on MovieLens gains 3.96 MRR points, compared with 0.19 from head-only finetuning. Rank and temporal diagnostics support a compact, host-dependent corrective structure. In personalized generation, IMPerSumm improves the two reported weighted PerSEval variants, which assess responsiveness to user preference, by up to 25.23%. These results support post-compression state correction and distinguish the availability of preference evidence from its downstream use.
著者のコメント
Accepted to NeurIPS 2026. Author-prepared archival version with expanded discussion and interpretation. 59 pages, including references and appendices
arXiv ID: 2610.01270 ／ 要約の誤りについて