固定した3D形状とフレームごとの動きで動画を制御
4Director: Controlling Video World Models with Rigid 3D Geometry
この論文をやさしく読む
ひとことで言うと
物体の3D形状を最初に一度作り、その形を各フレームで動かして動画モデルに渡します。視点が変わるたびに形が作り直される問題を抑えます。
何に役立つ？
動画制作でカメラと物体の位置・回転を指定する用途に向けた手法です。動きへの追従だけでなく同じ物体として見えるかを合わせて測る指標も提案します。
この研究の面白いところ
制御の土台は剛体メッシュですが、最終動画では外観、照明、非剛体の動きを生成します。幾何形状を固定する部分と映像として補う部分を分けています。
どこまで分かった？
要旨では2万774クリップのデータセットと比較実験を報告していますが、指標の具体値はありません。最終動画の非剛体運動も、剛体の3D制御で直接すべて指定されるという説明ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
カメラと物体の動きを精密に制御することは、専門的な動画制作に欠かせない。既存手法による物体制御は粗く、奥行きや回転が曖昧な画像平面上の手掛かり、あるいは完全な幾何形状を持たず視点変更で一貫性を失う3D軌跡や塊状表現に依存している。私たちは、明示的な4D場面表現で条件付けする動画世界モデル4Directorを提案する。各物体を入力画像から標準形のメッシュとして一度だけ再構成し、フレームごとに指定した1つの剛体変換で動かす。この表現は直感的な3D制御インターフェースを提供し、観測されていない形状がフレームごとに独立して再生成されることを防ぐ。 制御した場面を深度動画として描画し、この幾何学的な土台を動画へ変換するMotion Adapterを導入する。その際、視点間で一貫した外観、照明、非剛体の動きを合成する。学習用には、自動処理パイプラインで剛体の3D場面を注釈付けした2万774クリップの新しいデータセットRealCOD-Rigidを構築する。さらに、指定した物体運動への追従と物体の同一性の保持を共同で評価するIdentity-Gated IoU（IG-IoU）を導入する。実験は、4Directorが視覚品質、カメラ制御、物体制御において従来手法を一貫して上回ることを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01（UTC）
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Precise control over camera and object motion is essential for professional video production. Existing methods control objects only coarsely, through image-plane cues that are ambiguous in depth and rotation or through 3D tracks and blobs that lack complete geometry and lose consistency across viewpoint changes. We introduce 4Director, a video world model conditioned on an explicit 4D scene representation: each object is reconstructed once from the input image as a canonical mesh and moved by one prescribed rigid transformation per frame. This representation provides an intuitive 3D control interface and prevents unobserved geometry from being regenerated independently in every frame. We render the controlled scene as a depth video and introduce a Motion Adapter that transforms this geometric scaffold into video while synthesizing view-consistent appearance, illumination, and non-rigid dynamics. For training, we construct RealCOD-Rigid, a new dataset of 20,774 clips annotated with rigid 3D scenes by our automatic pipeline. We further introduce Identity-Gated IoU (IG-IoU), which jointly evaluates adherence to prescribed object motion and preservation of object identity. Experiments demonstrate that 4Director consistently outperforms prior methods in visual quality and in camera and object control.
著者のコメント
28 pages, 15 figures. Project page: https://stability-ai.github.io/4director/
arXiv ID: 2610.02160 ／ 要約の誤りについて