複数のトークンで動画中の物体を分割する手法
MoVISA: Multi-Token Reasoning for Video Object Segmentation
この論文をやさしく読む
ひとことで言うと
動画の物体分割で、複数のトークンを使って物体と各フレームの対応を細かく表す方法。
何に役立つ？
言葉で指定した物体を動画内で追跡・分割するモデルの設計に役立つ可能性がある。
この研究の面白いところ
単一の SEG トークンから複数の分割トークンへ変え、言語指示と時空間マスクの対応を細かくする。
どこまで分かった？
性能改善は記載されたベンチマークでの結果で、他の動画条件への一般化は要旨からは分からない。コードとモデルは公開予定とされる。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
マルチモーダル大規模言語モデルによる推論を使った動画物体分割では、SEG のような単一のテキストトークンで画像や動画の分割マスクを予測する方法が有効と示されてきた。しかし、動画内の複数物体を時間を通じて正確に位置特定するには、単一トークンでは粒度が足りないと著者らは観察した。そこで、動画物体分割のための複数トークン推論手法 MoVISA を開発する。MoVISA は SEG0 や SEG1 など複数の分割トークンを使い、異なるフレームにわたる物体を表す。この設計により、言語による指示と時空間的なマスク予測をより細かく対応させ、性能と解釈可能性を高める。MeViS、DAVIS17、ReVOS、Ref-Youtube-VOS の難しいベンチマークで評価し、MeViS では J と F の指標が13.2%、ReVOS では8.4%改善した。コードとモデルは公開予定である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Recent advances in video object segmentation with Multimodal Large Language Model (MLLM) reasoning have demonstrated the effectiveness of using a single textual token, such as SEG, to predict segmentation masks across images and videos. However, we observe that this single-token strategy lacks the granularity required to precisely localize multiple objects across time in video segmentation tasks. To address this limitation, we develop Multi-Token Reasoning for Video Object Segmentation, or MoVISA. MoVISA uses multiple segmentation tokens, such as SEG0 and SEG1, to represent an object across different frames. This design enables more fine-grained alignment between language prompts and spatio-temporal mask predictions, improving both performance and interpretability. On the challenging MeViS, DAVIS17, ReVOS, and Ref-Youtube-VOS benchmarks, our model achieves a 13.2 percent J and F improvement on MeViS and an 8.4 percent J and F improvement on ReVOS. Code and models will be released.
arXiv ID: 2609.28956 ／ 要約の誤りについて