長文AIが近くの無関係な文脈に引かれる問題を改善
The Sirens' Song: When Proximal Background Context Overshadows Distant Evidence
この論文をやさしく読む
ひとことで言うと
長文の中でAIが根拠を見落とす原因を、距離だけでなく、近くにある大量の無関係な情報との競合として捉え直しています。
何に役立つ？
長い資料から質問に必要な根拠を使うモデルの改善と、邪魔な背景情報に対する評価に役立つ可能性があります。
この研究の面白いところ
相対位置情報を残したまま注意の分布を変える手法と、近接する背景情報の干渉を段階的に増やす評価を組み合わせています。
どこまで分かった？
要旨は三つのベンチマークでの改善を報告しますが、改善幅や計算費用は示していません。根拠利用の改善は、すべての回答の正しさや事実性の保証ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
長い文脈を扱う大規模言語モデル（LLM）では、膨大な文脈の中から離れた位置にある根拠を取り出すことが重視されるが、既存研究の多くは距離そのものの克服に焦点を当ててきた。本研究では「近接性の罠」を指摘する。遠くの根拠への注意が不足するのは、距離そのものよりも、近くに大量に存在する課題と無関係な背景情報との累積的な競合に起因することが多い。 この問題に対処するため、LYRA（Long-context heavY-tailed Relevance Alignment）を導入する。これはt分布を使う方向マッチング機構で、符号化された相対位置情報を保ちながら、文脈検索の分布を変形し、課題に関連する根拠へより多くの注意の重みを向ける。LongBench-v2、RULER、LongBenchでの広範な実験では、文脈の長さや課題の種類を通じて一貫した改善を示した。さらに、近くの背景情報による干渉が増える状況で、遠くの根拠の利用を評価するための、多段階できめ細かなベンチマークProxBenchも導入する。プロジェクトページ：https://xiaoyuyoung.github.io/LYRA/
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Long-context LLMs focus on retrieving distant evidence from extensive context, yet existing work has largely focused on overcoming distance alone. In this work, we identify the Proximity Trap, insufficient attention to distant evidence often arises less from distance itself than from cumulative competition with abundant, task-irrelevant proximal background. To address the Proximity Trap, we introduce LYRA (Long-context heavY-tailed Relevance Alignment), a t-distributed directional matching mechanism that reshapes the context retrieval distribution, directing more attention mass toward task-relevant evidence, while preserving the relative positional information encoded. Extensive experiments on LongBench-v2, RULER, and LongBench demonstrate consistent improvements across context lengths and task categories. We further introduce ProxBench, a multi-level fine-grained benchmark for evaluating distant evidence utilization under increasing proximal background interference. Project page: https://xiaoyuyoung.github.io/LYRA/
著者のコメント
18 pages
arXiv ID: 2609.26718 ／ 要約の誤りについて