画像AIの判断を形の構造で説明するMorphoSHAP
MorphoSHAP: Rethinking the Unit of Attribution in Explanation for Deep Visual Models
この論文をやさしく読む
ひとことで言うと
画像AIが何を根拠に予測したかを、画素の強弱だけでなく形の大きさや構造を使って説明する方法。
何に役立つ？
画像モデルの判断根拠を、場所、形の種類、寄与の強さとして読み解く助けになる。文章やクラス全体の説明にもつなげられる可能性がある。
この研究の面白いところ
Tree of Shapesで得た形状をShapley値の計算単位にし、単一画像のヒートマップに加えて、空間・文章・クラス単位の説明を共通の形態的表現から作る。
どこまで分かった？
評価は五つのデータセットと三つのモデル構造、およびユーザー調査で報告される。具体的な精度値や調査人数は要旨にない。著者らの『初めて』という位置付けは著者の主張である。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
画像のどの部分が予測に寄与したかを示す手法は、通常、画素、スーパーピクセル、規則的な小領域を使って説明する。これらの表現は重要な場所を示せるが、その構造について得られる情報は限られる。本研究はMorphoSHAPを導入する。これはモデルの種類に依存しない事後的な方法で、Shapley値による寄与の割り当てにおいて、形態学的な形状を参加要素として用いる。Tree of Shapesを用いて各形状の尺度、幾何学的特徴、符号付きの寄与を表すことで、判断の根拠がどこにあり、どのような構造がそれを担い、予測にどれほど強く影響するかを説明する。この共通の形態学的な語彙により、画像ごとのヒートマップを超えて、空間的な説明、文章による説明、クラス全体についての説明が可能になる。著者らの知る限り、MorphoSHAPはこれら複数の説明形式を組み合わせた、初めてのSHAPに基づく画像寄与度の枠組みである。異なる五つのデータセットと三つのモデル構造で、MorphoSHAPは挿入・削除による評価で高い性能を示し、複数のベンチマークで競合する寄与度手法を上回った。最後に、ユーザー調査でも、MorphoSHAPによる説明は使いやすく、標準的な寄与度の比較手法より好まれた。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Visual attribution methods typically explain predictions using pixels, superpixels, or regular patches. These representations can localize important regions, but provide limited information about their structure. We introduce MorphoSHAP, a model-agnostic post-hoc method that instead uses morphological shapes as the players of a Shapley attribution game. Using the Tree of Shapes, each shape is described by its scale, geometry, and signed contribution, providing explanations of where the evidence lies, what type of structure carries it, and how strongly it affects the prediction. This shared morphological vocabulary enables spatial, textual, and global class-level explanations beyond image-specific heatmaps. To the best of our knowledge, MorphoSHAP is the first SHAP-based image attribution framework to combine these different forms of explanation. Across five diverse datasets and three architectures, MorphoSHAP achieves strong insertion/deletion performance and outperforms competing attribution methods on several benchmarks. Finally, a user study shows that MorphoSHAP provides explanations that are easy to use and are preferred over standard attribution baselines.
著者のコメント
21 pages
arXiv ID: 2609.25815 ／ 要約の誤りについて