資料群が大きくなると質問の難しさはどう増えるか
No More Free Lunch: Corpus Task Complexity Matters as Corpora Grow
この論文をやさしく読む
ひとことで言うと
資料が増えたとき、質問を解く手間がどの速度で増えるかを基準に、長文脈モデルの課題を分類した研究。
何に役立つ？
長い資料群を扱うモデルを評価するとき、単純な検索だけでなく、多数の主張を比較する難しい課題も含めるための指標とベンチマークになる。
この研究の面白いところ
低CTCでは全注意に近い性能の効率的な注意方式も、高CTCでは大きく低下するという、課題の選び方で変わる結論を示した。
どこまで分かった？
高CTC課題は依然として未解決であり、全注意は大規模資料群に対して高コスト。結果は導入した課題群での評価に基づく。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模な資料群に対する質問は、「人への心臓移植が初めて行われたのはいつか」から「この文献群で矛盾する主張をすべて挙げよ」まで幅広い。何が質問の難しさを決めるのだろうか。本研究は、資料群の大きさに応じて課題の難度がどう増えるかを特徴付ける「資料群課題複雑性」（CTC）を定義する。例えば、検索質問なら資料群を一度線形に調べればよいが、矛盾を見つけるには、件数に対して二次的に増える主張の組を確認する必要がある。 先行研究は主に、資料群の規模に対して難度が線形に増える低CTC課題を扱ってきた。そこで、二次以上に増える高CTCの新しい課題10件を導入する。長文脈言語モデルでは、高CTC課題は文脈が長くなるほど平均してはるかに難しくなるだけでなく、低CTC課題だけの評価から得られたモデルに関する多くの結論を覆した。例えば、効率的なブロック疎注意や混合注意は、低CTC課題では全注意に一貫して匹敵するが、高CTC課題では性能低下がずっと大きい。全注意を大規模な資料群に適用するにはコストが高すぎるため、大規模資料群での高CTC推論は未解決の課題である。この分野の今後の研究に向け、コード、データ、22課題からなるCTC-Benchを公開する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Given a large corpus, the questions one might ask can vary -- from "When was the first human heart transplant?" to "What are all the contradictory claims in this literature?" -- but what makes some questions more challenging than others? In this work, we define a notion of Corpus Task Complexity (CTC) that characterizes tasks by how their difficulty grows with corpus size; for instance, a retrieval query only requires a single linear pass over a corpus, while finding contradictions requires checking a quadratically growing set of claim pairs. Observing that prior work has largely only studied tasks whose difficulty grows linearly with corpus size, which we call low CTC tasks, we introduce 10 new tasks belonging to a class of high CTC whose difficulty grows quadratically or more in corpus size. We find that high-CTC tasks not only grow much more challenging on average at longer contexts for LCLMs, they reverse many modeling conclusions drawn solely from low-CTC evaluations. For instance, efficient block-sparse and hybrid attention approaches consistently match full attention performance on low-CTC tasks, but degrade much more on high-CTC tasks. Large-corpus high-CTC reasoning thus remains an open challenge as full attention is too costly to scale, motivating future research on these tasks. We release our code, data, and 22-task suite (CTC-Bench), to facilitate future research in this area.
著者のコメント
28 pages, 8 figures
arXiv ID: 2609.29245 ／ 要約の誤りについて