脚本の構図指定を3次元場面と生成画像につなぐ
PACE: Precise AI Cinematic Expression
この論文をやさしく読む
ひとことで言うと
映画の人物配置やカメラ構図を明示的なデータにし、3次元の配置と画像生成用の指示を同じ計画から作る仕組みです。
何に役立つ？
絵コンテや撮影計画で、指定した位置や構図が生成結果にどの程度反映されたかを測り、修正箇所を見つける用途に役立ちます。
この研究の面白いところ
構図の保持と動作の表現が両立しない場合を数値で報告しています。複数人物の位置を一つのカメラで満たせないときも、誤差を明示する設計です。
どこまで分かった？
動作表現の改善は30ショットでの結果です。場面遷移、動きの適合、生成パネルの人による評価は未解決で、完成映像全体の品質を実証したものではありません。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
脚本と映画の間には、まず空間に関わる計画の問題がある。誰がどこに立ち、カメラがその位置から何を見るか、という問題である。自由な文章でショットを求められた画像拡散モデルは、この計画を自身の既定の傾向で決めてしまう。本研究では、その計画を表す型付き表現PACE（Precise AI Cinematic Expression）を提案する。表現には、脚本上の根拠、必要な人物・小道具・場所、各被写体の立ち位置、カメラの動作を含める。値は、それが属する脚本・場面・ショット・パネルの階層に一度だけ記述し、下位の階層へ継承する。 コンパイラーはこの表現から、拡散モデルに送るプロンプトと、メートル単位で構築する3次元場面の両方を生成する。カメラの求解器は、指定された構図が実際に構築される構図になるように、カメラを配置する。指定値が幾何形状へ変換される箇所では、モデルに判定を任せず、生成されたカメラと配置済みのレンダリング結果が指定からどのくらいずれているかを項目ごとに測定する。 11場面から成るAutomatic Driveの脚本では、単一の被写体を配置したすべてのパネルで、被写体の位置と指定位置との差は画面幅の1.2％以内だった。被写体が2人または3人の場合、一つのカメラ姿勢ではすべての位置指定を満たせず、その残差を吸収して隠すのではなく報告する。外部の監督による絵コンテ204ショットでは、生成画像内の頭部の高さは、配置段階の目標値に対して、監督の言葉を使う場合に1.906倍、コンパイル済みプロンプトの場合に1.733倍、グレーボックス制御の場合に0.955倍だった。構図を最もよく保持する条件では、記述された動作を描く割合が最も低かった。30ショットでポーズを明示すると、構図を変えずに、動作を描けた割合が58.9％から74.4％に上がった。場面間の遷移、適合させた動き、生成パネルの人による評価は、引き続き未解決の課題である。コード：https://github.com/StudioPiLabs/pace-core
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-18 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Between a screenplay and a film sits a planning problem that is spatial first: who stands where, and what a camera sees from where it stands. An image diffusion model asked for a shot in free text settles that plan by its own defaults. We present PACE (Precise AI Cinematic Expression), a typed representation for the plan: the screenplay evidence, the characters, props and locations it needs, where each subject stands, and what the camera does. A value is written once at the level it belongs to (script, scene, shot or panel) and inherited below it. A compiler turns the result into both the prompt sent to the diffusion model and a 3D scene built in metres, and a camera solver places the camera so that the declared framing is the framing built. Where a declared value becomes geometry, PACE measures, field by field, how far the compiled camera and the staged render sit from the declaration, rather than asking a model to judge. On the 11-scene Automatic Drive screenplay, every staged single-subject panel places its subject within 1.2% of frame width of its declared position; with two or three subjects one camera pose cannot satisfy every position, and the residual is reported rather than absorbed. On 204 external director-storyboard shots, delivered head height is 1.906 times the staged target from the director's words, 1.733 from the compiled prompt, and 0.955 with the greybox control; the condition that holds framing best draws the described action least. Declaring the pose on 30 shots raises the action drawn from 58.9% to 74.4% without moving the framing. Transitions, fitted motion and human review of the generated panels remain open. Code: https://github.com/StudioPiLabs/pace-core
著者のコメント
v2: the supplementary material referenced throughout v1 was never uploaded; it is removed and its 69 references resolved, two of its results moved into the main text and one dropped. 36 pages, 8 figures, 4 tables. Code: https://github.com/StudioPiLabs/pace-core
arXiv ID: 2609.19853 ／ 要約の誤りについて