一つの軽量モデルで行う画像の統合理解
Efficient Unified Multimodal Understanding (EUMU): Winning Solution for the MUMU Track at the 8th LSVOS Challenge
この論文をやさしく読む
ひとことで言うと
画像のタグ付け、物体検出、説明文生成を一つのモデルにまとめた競技の優勝手法です。それぞれの出力を互いの手がかりとして使い、推論結果を補います。
何に役立つ？
計算資源の制約下で複数の画像理解機能をまとめたい場合の設計例になります。共有特徴を使うだけでなく、検出と説明文の情報を相互に活用できます。
この研究の面白いところ
説明文から検出の見落としを補い、検出結果から説明文を改善する循環が特徴です。画質には画像統計、場面や出来事には他タスクの出力を利用しています。
どこまで分かった？
報告はMUMU競技の条件に基づき、約2.39億パラメータ、23.947 GFLOPs、ピークメモリ4.5GBです。任意の携帯端末での速度や精度を保証する結果ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
Mobile Unified Multimodal Understanding（MUMU）チャレンジでは、複数概念の画像タグ付け、オープンボキャブラリー物体検出、画像キャプション生成を一つの効率的なモデルで同時に行うことが求められます。本研究では、第8回LSVOSチャレンジのMUMUトラックで優勝した解法、Efficient Unified Multimodal Understanding（EUMU）を提示します。 EUMUは共有事前学習マルチモーダルモデルを基盤とし、そのプロンプトベースの能力を検出とキャプション生成に利用します。また、共有視覚特徴に軽量なヘッドを学習させ、画質、場面、イベントのタグを予測します。三つのタスクを独立に扱うのではなく、タスク出力を別タスクの手がかりとして再利用する、タスク認識型の推論改良を行います。検出ではキャプションの手がかりが初回検出で見落とした物体の回復を助け、キャプション生成では検出の手がかりが検出物体をより正確に反映するようキャプションを改良します。タグ付けでは画像統計量が画質予測を改良し、キャプションと検出の手がかりが場面とイベントの予測を改良します。 この設計は、チャレンジの資源制約を満たしながら、三つのタスクを一つのモデルに統合します。EUMUのパラメータ数は239.169M、計算量は23.947 GFLOPs、推論時のピークメモリは4.5GBで、最終チャレンジスコアは17.3409でした。コードとモデルは公開されています。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-16 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-16 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
The Mobile Unified Multimodal Understanding (MUMU) Challenge requires a single efficient model to jointly perform multi-concept image tagging, open-vocabulary object detection, and image captioning. We present Efficient Unified Multimodal Understanding (EUMU), the winning solution for the MUMU Track of the 8th LSVOS Challenge. EUMU builds on a shared pretrained multimodal model, using its prompt-based capabilities for detection and captioning and training lightweight heads on shared visual features to predict quality, scene, and event tags. Rather than treating the three tasks independently, EUMU applies task-aware inference refinement by reusing task outputs as cross-task cues. For detection, caption cues help recover objects missed by the initial detection. For captioning, detection cues help refine the caption to better reflect the detected objects. For tagging, image statistics refine quality predictions, while caption and detection cues refine scene and event predictions. This design unifies all three tasks within a single model while satisfying the challenge's resource constraints. EUMU contains 239.169M parameters, requires 23.947 GFLOPs, uses 4.5 GB of peak inference memory, and achieves a final challenge score of 17.3409. Code and models are available at https://github.com/Dayoung-Kil/EUMU.
arXiv ID: 2609.19451 ／ 要約の誤りについて