医用画像の詳細認識と報告書生成を統合するモデル
QwenVLConnector: A Fast, Unified Medical VLM Chatbot for Fine-Grained Clinical Perception and Text Generation
この論文をやさしく読む
ひとことで言うと
医用画像の分類や検出と、文章による報告書生成を同じモデルで扱う研究。
何に役立つ？
複数の医用画像タスクを統一した仕組みで評価・開発する際の参考になる。
この研究の面白いところ
視覚トークンの長さを増やさずに異なる階層の特徴を融合し、複数の指標で改善を報告した点。
どこまで分かった？
要旨の数値はFLARE-2Dでの比較であり、臨床現場での安全性や患者への影響を実証したとは述べていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
多くの医用視覚言語モデルは自由形式の報告書生成や視覚質問応答に優れる一方、構造化された細かな臨床的認識を一つの仕組みで扱う機能は限られている。本研究はQwen2.5-VLを基にした医療用チャットボットQwenVLConnectorを提案する。分類、多ラベル分類、文章で表した物体検出、計数、回帰、自由形式の報告書生成を、次のトークンを予測する単一の目的の下で統合する。中心となる軽量な高密度多層Connectorは、低水準と高水準の視覚特徴を集約し、事前学習済みのvision Mergerを通して位置を合わせ、系列長を増やさずに最終的な視覚表現と融合する。この設計は効率を保ちながら、視覚トークンに補完的な空間情報と意味情報を加える。 FLARE-2Dでは、Qwen2.5-VLの基準モデルと比べ、検出F1が0.55から0.85へ、単一ラベル分類が0.37から0.51へ上がり、報告書生成のGREENは最大18.3ポイント改善した。報告書生成におけるマルチモーダルの文脈内学習も検討し、モデルのパラメータを更新せずに追加の改善を示した。著者らは、構造化された医用画像の認識と自由形式の臨床文章生成を統合し、効率よく扱える枠組みだと位置づける。コードの公開先として https://github.com/plnguyen2908/QwenConnector を挙げている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-19（UTC）
- 最新改訂
- 2026-09-19 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-19 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Most medical vision-language models (VLMs) excel at open-ended report generation and VQA but provide limited support for structured, fine-grained clinical perception within a unified interface. We present QwenVLConnector, a Qwen2.5-VL-based medical chatbot that unifies classification, multi-label classification, textualized detection, counting, regression, and free-form report generation under a single next-token objective. Our key component is a lightweight dense multi-layer Connector that aggregates low- and high-level visual features, aligns them through the pretrained vision Merger, and fuses them with the final visual representation without increasing sequence length. This design enriches visual tokens with complementary spatial and semantic cues while preserving efficiency. On FLARE-2D, QwenVLConnector improves detection F1 from 0.55 to 0.85, raises single-label classification from 0.37 to 0.51, and boosts report-generation GREEN by up to 18.3 points over the Qwen2.5-VL baseline. We further explore multimodal in-context learning for report generation, showing additional improvements without updating model parameters. Overall, QwenVLConnector offers a unified and efficient framework for combining structured medical perception with open-ended clinical text generation. Our code can be found at https://github.com/plnguyen2908/QwenConnector.
著者のコメント
MICCAI FLARE 2025
arXiv ID: 2609.23139 ／ 要約の誤りについて