正確な指摘を与えてもLLMの文章修正は安定しない
Exact Feedback Is Not Control: Evaluating Text-based Closed-Loop Revision in LLMs
この論文をやさしく読む
ひとことで言うと
文章の条件違反を正確に全部知らせても、LLMが必ず直せるとは限らない。19モデルで修正成功率と失敗時の繰り返しを比較した。
何に役立つ？
考えられる用途は、LLMによる自動修正システムを評価する際、検証器の見落としとモデルの修正能力を分けて測ること。
この研究の面白いところ
下書きと指摘を同じにして過去の対話だけを除くと、同じ出力の繰り返しから抜け出す傾向は変わったが、最終成功率の改善は一定しなかった。
どこまで分かった？
厳密な長さ、語彙、複合的な制約を用いた固定回数の修正実験での結果。効果はモデルや課題などに依存し、一般の文章作成全体での信頼性を示すものではない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル（LLM）の応用では、結果を確認して修正を繰り返す閉ループ型の改稿が増えている。しかし失敗の原因は、指摘が不完全なことか、正しい指摘にモデルが効果的に対応できないことかもしれない。本研究は、修正回数を一定にし、厳密な長さ、語彙、複合的な制約に関する残りの違反をすべて報告する決定論的な検証器を用いた手順を導入する。指摘の正しさと網羅性を固定することで、モデル側の修正行動を切り分ける。 公開・非公開の19モデルを調べると、制御手順全体での最終的な全制約同時達成率の平均は17.4%から99.8%に及び、最初の下書きを同じにしてもモデル間の大きな差が残った。制御実験では、正確な指摘に対するモデルごとの再現可能な反応が見られた。追加学習やモデル規模はその反応を変えるが、必ずしも正確な修正に近づけなかった。どの制約群でも、失敗する修正過程では以前の出力を繰り返すことが多く、過去の繰り返しはその後の立て直しにくさと関連した。現在の下書きと指摘を固定して過去の対話だけを取り除く介入では、繰り返しから抜け出せるかどうかは変わったが、最終的な成功率は安定して改善しなかった。効果はモデル、課題、介入時の状態の構成に依存した。正確な指摘によって修正の誤りは観察できるが、閉ループの信頼性が保証されるわけではない。コードと再現手順は https://github.com/kevinjiang0121-cyber/exact-feedback-code で公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Closed-loop revision is increasingly used in large language model (LLM) applications, but failures may reflect incomplete feedback or ineffective responses to correct feedback. We introduce a fixed-budget revision protocol with deterministic verifiers that report all remaining violations across exact-length, lexical, and compositional constraints. Fixing feedback correctness and completeness isolates model-side revision behavior. Across 19 open- and closed-source models, controller-level mean final joint success ranges from 17.4% to 99.8%, with substantial cross-model gaps persisting under identical initial drafts. Controlled experiments reveal reproducible model-specific responses to exact feedback. Post-training and scale reshape these responses without consistently bringing them closer to exact correction. Across all constraint families, failed trajectories often repeat earlier outputs, and prior recurrence is associated with lower subsequent recoverability. Matched-state interventions show that removing earlier dialogue while holding the current draft and feedback fixed changes recurrence escape without reliably improving final success; effects depend on the model, task, and trigger-state composition. Exact feedback makes revision errors observable, but does not make the closed loop reliable. Code and reproduction instructions: https://github.com/kevinjiang0121-cyber/exact-feedback-code.
著者のコメント
35 pages, 18 figures, 25 tables, including appendices
arXiv ID: 2609.28150 ／ 要約の誤りについて