曲がった看板文字を検出して読み取る二段階手法
MEVL-STP: Multi-Encoder and Vision Language Model for Arbitrarily Shaped Scene Text Spotting
この論文をやさしく読む
ひとことで言うと
曲がった文字や斜めの文字を、まず形に沿って切り出し、その後に視覚言語モデルで読む方法です。
何に役立つ？
考えられる用途は、看板や自然画像内の文字を読み取るシステムの改善です。要旨で実証されたのは公開ベンチマークでの検出・認識性能です。
この研究の面白いところ
6種類の学習済み画像エンコーダーを固定して特徴を融合し、多角形マスクで背景や隣の単語を除いてから認識する二段階構成です。合成データを使わない評価結果も示しています。
どこまで分かった？
数値が示されているのはCTW1500での検出F値91.99%と一貫処理のH平均85.86%です。ほかのデータセットでは高い性能と述べていますが、要旨には数値がありません。実環境での運用結果も要旨には記されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
自然画像中の曲がった看板や密集してさまざまな方向を向く文字など、任意の形状の文字を検出して読み取ることは難しい。位置特定と認識が密接に結び付いた構成では、位置特定の誤りがそのまま認識の失敗につながる。本研究は、複数の画像エンコーダーによる領域分割と、視覚言語モデルによる認識を組み合わせた二段階の処理を提案する。 検出段階では、学習済みのCLIP、DINOv2、SigLIP、EVA-CLIP、SAM、ConvNeXtという6つの画像エンコーダーを固定して使用し、意味・空間・テクスチャに関する相補的な特徴を取り出す。それらを、チャネル注意機構を持つ学習可能な階層的特徴ピラミッドネットワークで融合し、深層教師あり学習を用いるProgressive Scale Expansionネットワークで復号して、文字ごとの精密なマスクを生成する。エンコーダーを固定することで、個別に学習された特徴空間の違いを融合時にも保ち、単一の基盤モデルを使う検出器で境界の精度を下げる特徴の均質化を防ぐことを狙う。検出結果は、背景まで含みやすい軸に平行な長方形ではなく、曲がった文字や任意の向きの文字の実際の形に沿う多角形マスクである。 認識段階では、このマスクで切り出した画像によって対象の文字を周囲から分離する。多角形で切り出したシーン文字を使い、低ランク適応で微調整したQwen3-VL-8B-Instructが、隣の単語や背景の影響を受けずに文字を読む構成とした。合成データによる事前学習を一切使わず、CTW1500で検出のF値91.99%、検出から認識までのH平均85.86%を達成したと報告する。著者らはこれを新たな最高性能と位置付け、Total-TextとICDAR 2015でも合成学習データなしで高い性能を示したとしている。コードは公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Scene text spotting remains challenging for arbitrarily shaped text instances such as curved signs and dense multi-oriented characters in natural images, where tightly coupled architectures propagate localization errors directly into recognition failures. We present a two-stage pipeline that combines multi-encoder segmentation with vision-language model recognition to address this problem. In the detection stage, six frozen vision encoders (CLIP, DINOv2, SigLIP, EVA-CLIP, SAM, and ConvNeXt) extract complementary features spanning semantic, spatial, and texture spectra, which are fused through a trainable hierarchical Feature Pyramid Network with channel attention and decoded via a deep-supervision Progressive Scale Expansion network to generate precise instance-level text masks. By keeping the encoders frozen, their independently learned feature spaces remain orthogonal during fusion, preventing the feature homogenization that degrades boundary precision in single-backbone detectors. The detection stage produces tight polygon masks that conform to the actual shape of curved and arbitrarily oriented text, rather than axis-aligned rectangles that inevitably include background content. In the recognition stage, these polygon-masked crops isolate the target text from surrounding clutter, allowing a Qwen3-VL-8B-Instruct model, fine-tuned via Low-Rank Adaptation on polygon-cropped scene text, to focus purely on reading the text without interference from neighbouring words or background noise. Without any synthetic pretraining data, our method achieves 91.99% detection F-measure and 85.86% end-to-end H-mean on CTW1500, setting a new state of the art and achieving strong performance on Total-Text and ICDAR 2015 without any synthetic training data. Code is available at https://github.com/doubleblind-afk/MEVL-STP
著者のコメント
18 pages, 7 figures, 5 tables. Code: https://github.com/doubleblind-afk/MEVL-STP
arXiv ID: 2609.28857 ／ 要約の誤りについて