画像と文章に応じて処理経路を変える医用画像の領域分割
Multimodal Routing and Region Refinement for Language-Guided Medical Image Segmentation
この論文をやさしく読む
ひとことで言うと
医用画像と文章の組に応じて特徴の処理経路を選び、指定された領域を切り分けるモデルです。
何に役立つ？
文章で所見や場所を指定する医用画像領域分割について、性能と学習パラメータ数を比較する材料になります。
この研究の面白いところ
画像と言語の両方の適応経路を組ごとに選び、文章に基づく領域の集約と改善も行います。
どこまで分かった？
報告された数値はQaTa-COV19とMosMedData+での領域分割指標です。臨床現場での診断精度や使用効果は要旨では示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
文章による記述は、切り分ける所見と位置を指定することで、医用画像の領域分割における曖昧さを減らせる。既存の文章誘導型の方法は、主に画像と言語の特徴が相互作用する場所を改善してきたが、画像と文章の組ごとに学習する更新経路は通常一つのままである。本研究はMRSegを提案する。これは、密な予測の前に各画像・文章ペアを使って視覚特徴と文章特徴の適応経路を選ぶ、パラメータ効率のよい枠組みである。固定したConvNeXt-TinyとPubMedBERTのエンコーダーから、多尺度の視覚特徴と臨床文章のトークンを得る。共同ルーターは最も深い視覚特徴と集約した文章を用い、低ランクのアダプター基底を疎に混合する比率を予測する。得られた経路は二つの視覚尺度と文章に対応する別々のアダプター群で共有し、特徴ごとのパラメータを分けたまま適応を協調させる。 Region Bridgeは、文章由来のクエリで密な視覚トークンを潜在領域へ集約し、自己注意と文章への交差注意で領域を改善した後、その情報を特徴マップへ戻す。最後に、多尺度デコーダーが改善した意味特徴と浅い層の画像情報を結合する。QaTa-COV19とMosMedData+において、MRSegは順にDice/mIoUが90.90/83.32、81.53/68.82を達成した。学習対象のパラメータ数は711万、計算量は7.60 GFLOPsである。コードは著者らのGitHubで公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Textual descriptions can reduce ambiguity in medical image segmentation by specifying the finding and location to be delineated. Existing text-guided methods mainly improve where image and language features interact but generally retain a single learned update pathway across all image-text pairs. We propose MRSeg, a parameter-efficient framework that uses each image-text pair to route the adaptation of visual and textual features before dense prediction. Frozen ConvNeXt-Tiny and PubMedBERT encoders provide multiscale visual features and clinical text tokens. A joint router uses the deepest visual feature and pooled text to predict a sparse mixture over low-rank adapter bases. The resulting route is shared across separate adapter banks for two visual scales and text, coordinating their adaptation while keeping the feature-specific parameters separate. Region Bridge uses text-derived queries to aggregate dense visual tokens into latent regions, refines these regions through self-attention and text cross-attention, and redistributes the refined information back to the feature maps. Finally, a multiscale decoder combines refined semantic features with shallow image evidence. On QaTa-COV19 and MosMedData+, MRSeg achieves 90.90/83.32 and 81.53/68.82 Dice/mIoU, respectively, with 7.11M trainable parameters and 7.60 GFLOPs. Code: https://github.com/maklachur/MRSeg.
著者のコメント
Accepted at MICCAI 2026 (TIA). Final version to appear in the proceedings
arXiv ID: 2609.28860 ／ 要約の誤りについて