コード修正エージェントに不足する根拠を集合として探す
The Missing Complement: State-Conditioned Minimal Sufficient Evidence for Coding Agents
この論文をやさしく読む
ひとことで言うと
コード修正エージェントが次の判断をするために、まだ足りない情報の組み合わせを小さく集める検索法です。
何に役立つ？
既に読んだ情報を重複して渡すのを減らし、限られた文脈長で修正判断を支える資料を用意するために役立ちます。
この研究の面白いところ
文章単体の類似度ではなく、必要な事実が集合として全部そろうかを評価します。45リポジトリの500状態で、5項目なら73.0%、8項目なら80.6%の完全な証拠集合を回復しています。
どこまで分かった？
必要な事実が注釈された評価状態での結果です。別評価での小さな入力と精度改善も報告していますが、あらゆる修正作業の成功率を保証するものではなく、要旨には実運用全体の成績はありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
課題への対応を途中まで進めたコーディングエージェントは、検索器が上位に挙げる情報の多くを、すでに読んでいる。関連度は文章ごとに採点されるが、十分性は集合全体の性質である。ランキング器は、必要な事実の1つを言い換えた情報で予算を使い切り、意思決定を支える根拠を不足させることがある。 本研究では、状態に条件付けた最小十分根拠の回収を定式化する。記録されたエージェント状態を与え、その次の判断にまだ足りない裏付けを補う、コンパクトな根拠の組合せを回収する課題である。SERBenchは45のリポジトリから得た、調整には用いない500状態でこれを測定する。エージェントが見た情報を記録し、現在の判断に必要だと注釈付けされたすべての事実を覆う集合だけを正解とする。 MSS-Complementは、情報取得をランキングではなく集合の構築として扱う。意味に基づく3回の呼び出しで、全体として十分な集合を提案し、不足を探し、6,144トークン以内で4〜8個のソース単位を分割せずに返す。較正データで固定した1つの設定では、5項目で73.0％、8項目で80.6％の状態について完全な集合を回収した。これに対し、Qwen3埋め込みと再ランキングの組合せは61.4％と72.4％だった。条件を揃えて類似度のみで順位付けする対照は66.6％であり、改善は計算量ではなく集合単位の方策に由来する。正解から作った候補群を使わず、固定したリポジトリのソースから取得する場合も、5.0ポイント上回った。 AMA-Benchでは、同ベンチマーク自身のメモリエージェントより回答用プロンプトが76.2％小さく、正答率が2.08ポイント高かった。完全な集合から必要な情報群を1つ除くと、2種類の実行器で、修正箇所特定の適合率がそれぞれ12.3ポイント、11.1ポイント低下した。エージェント向けの検索は、課題に似た情報を再ランキングするより、判断に不足する情報を回収する問題として捉える方が適切である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
A coding agent halfway through an issue has already read much of what a retriever ranks highest. Relevance is scored per passage, but sufficiency belongs to the set: a ranker can fill its budget with variants of one required fact and leave the decision unsupported. We formulate state-conditioned minimal sufficient evidence recovery: given a captured agent state, recover a compact evidence combination that supplies the support its next decision still lacks. SERBench measures this on 500 held-out states from 45 repositories, recording what the agent has seen and crediting only sets that cover every fact the current decision was annotated to require. MSS-Complement treats acquisition as set construction, not ranking. Three semantic calls propose a jointly sufficient set, search for what it lacks, and return 4-8 intact source units within 6,144 tokens. One configuration, fixed on calibration data, recovers a complete set for 73.0% of those states at five items and 80.6% at eight, against 61.4% and 72.4% for Qwen3 embedding with reranking. A matched control ranking by similarity alone reaches 66.6%, placing the gain in the set-level policy, not the computation. From frozen repository source with no gold-derived pool, the lead is 5.0 points. On AMA-Bench it answers from a 76.2% smaller answer prompt, with accuracy 2.08 points above that benchmark's own memory agent. Removing one required group from an otherwise complete set costs 12.3 and 11.1 points of repair-localization precision under two executors. Retrieval for agents is better posed as recovering what a decision lacks than re-ranking what an issue resembles.
著者のコメント
32 pages, 3 figures. Benchmark and evaluation resources: https://github.com/LordTARN1SHED/SERBench
arXiv ID: 2609.20050 ／ 要約の誤りについて