動画を段階的に読み解くAIを評価する新ベンチマーク
AgentVidBench: A Multi-Hop Video Question Answering Benchmark for Evaluating MLLM Agents
この論文をやさしく読む
ひとことで言うと
動画について正しく答えられるかだけでなく、必要な場面や証拠を順に確認して答えたかも評価する試験です。時間の前後関係、位置関係、因果関係を組み合わせる質問を扱います。
何に役立つ？
動画を調べるAIエージェントの比較や、正答に至る調査手順の改善に役立つ評価基盤です。12モデルの評価では、エージェント型の処理を加えると正答率と実行過程の評価が一般に改善しました。
この研究の面白いところ
偶然正解した場合と、必要な証拠を得て正解した場合を区別しようとしている点が特徴です。質問と正解だけでなく、段階ごとの解答過程を用意しています。
どこまで分かった？
要旨が示すのは、このベンチマーク上での12モデルの評価です。正答率の具体値や改善幅は記載されておらず、あらゆる現実の動画を理解できることを示したものではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
動画を包括的に理解することは、人工知能が物理世界の複雑な動態を扱えるようになるために不可欠である。近年のマルチモーダル大規模言語モデル（MLLM）は動画理解で顕著な能力を示しているが、既存のベンチマークは、1段階の推論だけで答えられる単純な場面単位の質問や動画全体の要約にとどまっている。現実世界の動画理解には、複数段階のマルチモーダル推論を要する、より難しい課題が含まれる。しかし、そのようなエージェントとしての能力を厳密に評価できる動画ベンチマークが決定的に不足している。 この不足を埋めるため、MLLMエージェントの空間的・時間的・因果的な推論能力の評価に焦点を当てた、複数段階の動画質問応答ベンチマークAgentVidBenchを導入する。AgentVidBenchは通常の質問と回答の組に加え、段階ごとの解答過程を提供する。これにより、エージェントが回答を正当化するために必要な証拠を明示的に取得したかどうかを、実行過程の評価によって調べられる。 商用およびオープンソースのMLLM計12種を用いた実験では、AgentVidBenchにおける1回の応答での性能は依然として限られている一方、これらのモデルを最先端のエージェント型ワークフローに組み込むと、一般に正答率と実行過程スコアの両方が向上した。さらに、単純ながら効果的なエージェント戦略を提示し、AgentVidBench上で競争力のある基準手法とする。これにより、本ベンチマークを今後のエージェント型動画理解研究のための包括的な評価基盤として位置づける。コードとデータセットはhttps://github.com/krafton-ai/agentvidbench および https://huggingface.co/datasets/agentvidbench/agentvidbench で公開している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Comprehensive video understanding is crucial for advancing artificial intelligence toward the intricate dynamics of the physical world. While recent advances in Multimodal Large Language Models (MLLMs) have demonstrated remarkable capabilities in video understanding, existing benchmarks remain confined to simple scene-level queries or global summaries that require only single-step inference. Real-world video understanding involves more challenging tasks that require multi-hop multimodal reasoning, and there is a critical absence of video benchmarks equipped to rigorously evaluate these agentic capabilities. To bridge this gap, we introduce AgentVidBench, a multi-hop video question answering benchmark focused on evaluating the spatial, temporal, and causal reasoning capabilities of MLLM agents. Beyond standard question-answer pairs, AgentVidBench provides step-by-step solution traces to support trajectory evaluation that assesses whether agents explicitly acquire the evidence needed to justify their answers. Experiments with 12 proprietary and open-source MLLMs show that single-turn performance remains limited on AgentVidBench, while integrating these models into state-of-the-art agentic workflows generally improves performance with respect to both accuracy and trajectory scores. We further present a simple yet effective agentic strategy that serves as a competitive baseline on AgentVidBench, establishing our benchmark as a holistic testbed for future research on agentic video understanding. Code and datasets are available at https://github.com/krafton-ai/agentvidbench and https://huggingface.co/datasets/agentvidbench/agentvidbench.
著者のコメント
36 pages, 8 figures. Code: https://github.com/krafton-ai/agentvidbench Dataset: https://huggingface.co/datasets/agentvidbench/agentvidbench
arXiv ID: 2609.21386 ／ 要約の誤りについて