大小二つの視覚言語モデルで幻覚の文字範囲を検出する
SKstars at SHROOM: Visions Agreement-Guided Ensembling of Zero-Shot and LoRA-Adapted Vision--Language Models
この論文をやさしく読む
ひとことで言うと
画像についてAIが書いた文章のうち、根拠のない部分を文字範囲で見つけるシステムです。大きな未調整モデルと、小さな追加学習済みモデルの予測を合わせます。
何に役立つ？
考えられる用途は、視覚言語モデルの出力を点検するとき、問題のある箇所と種類を絞り込むことです。文全体に一つの判定を付けるより細かな確認を目指しています。
この研究の面白いところ
二つのモデルの結果を合わせるだけでなく、検出範囲と信頼度を後から調整します。公式順位を示し、開発時の改善がそのまま本評価に移らない点も報告しています。
どこまで分かった？
公式に報告された成績は英語テスト集合です。多言語向けの枠組みという位置付けと、全言語で性能を確認したことは同じではありません。Cor+Lblは29チーム中15位、他の二指標は18位で、最高性能を達成したという結果ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
本論文は、大規模視覚言語モデルの出力に含まれる幻覚を細かな単位で検出する共同タスクSHROOM-Visions 2026に対する、SKstarsの提出システムを説明する。この課題では、幻覚を含む文字範囲を特定し、幻覚のカテゴリを割り当て、予測の信頼度を出力することが求められる。 提案手法は、Qwen2.5-VL-72B-Instructによるゼロショット予測と、LoRAで適応させたQwen2.5-VL-7B-Instructによる予測を組み合わせる。二つのモデルの出力を軽量なアンサンブル手順で統合し、その後に範囲の修正と信頼度調整を行う。小規模な内部開発用部分集合で主要な構成要素を評価し、公式の英語テスト集合における提出システムの性能を報告する。 SKstarsはCor+Lblスコア0.2902で29チーム中15位となり、Corは0.3642、IoUは0.3151で、いずれも18位だった。結果は、大規模なゼロショットモデルと小規模な適応済みモデルの組み合わせが、多言語かつ細粒度の幻覚位置特定に向けた実用的な枠組みを提供することを示す。同時に、開発集合での改善を非公開テストデータに移す難しさも浮き彫りにする。コードと予測結果はhttps://github.com/aliathar1401/SK-Stars-shroom-visions-2026で公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 掲載先の記載あり
著者による掲載先の記載：EMNLP2026 (Conference)。出版社での独立確認は未実施です。
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
This paper describes the SKstars submission to SHROOM-Visions 2026, a shared task on fine-grained hallucination detection in large vision-language model outputs. The task requires systems to identify hallucinated character spans, assign hallucination categories, and provide confidence estimates for their predictions. Our approach combines zero-shot predictions from Qwen2.5-VL-72B-Instruct with those of a LoRA-adapted Qwen2.5-VL-7B-Instruct model. The outputs of the two models are integrated through a lightweight ensemble procedure, followed by span refinement and confidence adjustment. We evaluate the main system components on a small internal development subset and report the performance of the submitted system on the official English test set. SKstars achieved a Cor+Lbl score of 0.2902, ranking 15th among 29 teams, and obtained Cor and IoU scores of 0.3642 and 0.3151, respectively, ranking 18th on both metrics. The results show that combining a large zero-shot model with a smaller adapted model provides a practical framework for multilingual and fine-grained hallucination localization, while also highlighting the difficulty of transferring development-set improvements to hidden test data. Code and predictions: https://github.com/aliathar1401/SK-Stars-shroom-visions-2026
著者のコメント
This paper has been accepted at the SHROOM-Visions 2026 Shared Task, co-located with EMNLP2026
arXiv ID: 2609.24198 ／ 要約の誤りについて