動画生成の判定器が実行ログに引きずられる問題を検証
Don't Read the Log: Execution Traces Contaminate Verifiers in Video-Generation Agents
この論文をやさしく読む
ひとことで言うと
動画を評価するAIに実行ログを見せると、実際の映像よりログの内容に判定が左右される場合がある。
何に役立つ?
動画生成システムの判定工程で、実行ログを渡す設計が視覚的な品質評価にどう影響するかを点検する材料になる。
この研究の面白いところ
同じフレームでも成功を伝えるログで失敗動画の誤合格が大幅に増えた。修正を繰り返すと判定器の合格率と人手の合格率が大きく離れた。
どこまで分かった?
結果は109本の二事象動画と試した判定器・処理構成についてのもの。非公開の最先端判定器では同じ大きな影響は見られなかった。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
動画生成エージェントは、言語モデルがショットを計画して動画生成モデルを呼び出し、マルチモーダル判定器が結果を依頼に照らして確認する循環を作る。長い処理の失敗箇所を調べるため、最近の実行環境は動画だけでなく、実行ログ、計画、生成したナレーションも判定器に見せる。本研究は、動画のフレームを固定したまま、こうした補助テキストが純粋に視覚的な要件の判定を変えるかを問う。 要求された出来事が明確に完了したか欠けているかを人手でラベル付けした、二つの出来事を含む生成動画109本で検証した。ツール呼び出しの成功を報告するログがあると、公開重みのQwen-VL判定器3種(7B、8B、32B)は失敗動画の78~90%を合格と判定した。テキストがない場合の誤合格率は7~19%だった。逆の内容のログは正しい動画の最大100%を不合格とし、「フレームだけを使う」と指示しても影響は消えなかった。同じ動画では最先端の非公開判定器の判定はほぼ変わらず、この脆弱性は課題そのものではなく、判定器がツールログをどれほど信頼するよう学習したかによることを示す。 計画から作られたテキストには動画固有の情報がないため、判定器の判定基準をずらすことしかできない。修正を繰り返す処理では、そのずれがどんな修正方針でも超えられない実際の合格率の上限となり、この上限はシミュレーションと小数第2位まで一致した。悪意あるエージェントがいなくても汚染は起こる。常に再生成する誠実な言語モデルの計画器を使った循環では、判定器による合格率は1.00に達する一方、人手の判定による合格率は0.28にとどまった。安価な確認器が結果をログに書き込む構成では、その誤りがより強い最終判定器に伝わり、誤合格率は0.69になった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23(UTC)
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Agentic video-generation systems close a loop between a generator and a verifier: an LLM plans shots, calls a text-to-video model, and a multimodal judge decides whether the result satisfies the request. To diagnose where a long workflow fails, recent harnesses deliberately show the judge more than the video-the agent's execution trace, its plan, the narration it synthesized. We ask whether this auxiliary text moves the judge's verdict on purely \emph{visual} requirements, holding the frames fixed. On a benchmark of 109 generated two-event clips with manual labels, in which the requested event is either visibly completed or visibly missing, a trace that reports a successful tool call makes three open-weight Qwen-VL judges (7B, 8B, 32B) accept $78$--$90\%$ of the failures, up from $7$--$19\%$ without text, and a contradicting trace makes them reject up to $100\%$ of correct clips; an instruction to ``use only the frames'' does not remove the effect. Frontier closed judges are essentially unmoved on the same clips, showing that the vulnerability is a property of the judge's learned trust in tool logs rather than of the task. Plan-derived text carries no clip-specific information, so it can only shift a judge's operating point, and in a repair loop that shift becomes a cap on the true pass rate that no repair policy can exceed; the cap matches simulation to two decimals. In the loop, contamination is exploited without any adversarial agent: an honest LLM planner that always regenerates ends with a judge pass rate of $1.00$ and a human-labelled pass rate of $0.28$, and a pipeline in which a cheap checker writes its verdict into the trace launders that checker's errors into a stronger final judge ($0.69$ false accepts).
arXiv ID: 2609.28564 / 要約の誤りについて