知識蒸留で画像の注目位置や細かな説明も引き継げるか
Transferring Visual Explanations: How Cross-Architecture Knowledge Distillation Affects Model Interpretability
この論文をやさしく読む
ひとことで言うと
大きな画像認識モデルから小さなモデルへ知識を移すとき、答えだけでなく「画像のどこを根拠にしたか」も移せるかを調べています。
何に役立つ？
軽量化したモデルを選ぶ際、正解率だけでは見えない注目領域の変化を評価するのに役立ちます。医療や自動運転への導入効果を実証した研究ではありません。
この研究の面白いところ
大まかな位置への注目と、ピクセル単位の細かな寄与が別の動きを示します。教師を強く模倣させれば説明もよく引き継ぐとは限りません。
どこまで分かった？
解釈可能性は物体マスクとヒートマップの一致という特定指標で測っています。人間にとっての説明の分かりやすさや、判断根拠の因果的な正しさを直接測ったものではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
計算資源が限られた環境では効率的なニューラルネットワークの導入が不可欠だが、小型モデルでは解釈可能性が犠牲になることがある。これは、自動運転や医療など、安全性が重要な分野では重大な要素である。本研究では、知識蒸留（KD）が、大きな教師ネットワークの空間的な特徴寄与を小型の生徒へ伝えるかを調べる。 蒸留方式が解釈可能性へ与える影響を評価するため、ImageNet-1K上でResNet-152の教師からResNet-34の生徒へ蒸留し、蒸留温度とソフトラベル損失の重みを系統的に変えた5つの構成を比較する。モデルはトップ1正解率に加え、Relevance Mass Accuracy（RMA）とRelevance Rank Accuracy（RRA）という2つの解釈可能性指標で評価する。これらは、正解物体マスクと比較したGrad-CAMヒートマップから計算する。 トップ1正解率は71.6〜74.0%となった。Grad-CAMではRMAが7.7〜9.7%、RRAが7.3〜10.1%、Guided Grad-CAMではRMAが16.1〜18.6%、RRAが15.9〜21.5%の範囲となった。解釈可能性は温度よりもソフトラベルの重みに強く影響される。生徒をハードラベルにしっかり結び付けると、精度と粗い位置特定をともに維持できる一方、教師への重み付けを強くすると両方が悪化する。ただし、細粒度の寄与の評価は、試したすべての構成で蒸留なしのベースラインを下回った。このことは、ロジット蒸留では、モデルがどこに注目するかは伝えやすくても、その注目のピクセル単位の構造は伝えにくいことを示す。 畳み込みモデルとTransformer系モデルの、構造をまたぐ12の組合せも評価し、細かな空間的推論の継承が、生徒に固有の構造的バイアスによって根本的に制約されることを示す。著者らの知る限り、ニューラルネットワークの枝刈りで用いられてきた、この解釈可能性を考慮する評価枠組みをKDへ適用したのは本研究が初めてである。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Deploying efficient neural networks is essential in resource-constrained environments, yet compact models often sacrifice interpretability - a critical in safety-critical domains such as autonomous driving and medicine. This study investigates whether Knowledge Distillation transfers the spatial feature attribution of a large teacher network to a compact student. To assess the influence of the KD scheme on interpretability, we distill a ResNet-152 teacher into a ResNet-34 student on ImageNet-1K across five configurations by systematically varying the distillation temperature and soft-label loss weight. Models are evaluated on top-1 accuracy, along with two interpretability metrics: Relevance Mass Accuracy and Relevance Rank Accuracy. These metrics are computed via Grad-CAM heatmaps benchmarked against ground-truth object masks. Our results show that top-1 accuracy ranges from 71.6% to 74.0%. For Grad-CAM, RMA ranges from 7.7% to 9.7% and RRA from 7.3% to 10.1%; for Guided Grad-CAM, RMA ranges from 16.1% to 18.6% and RRA from 15.9% to 21.5%. Interpretability proves far more sensitive to the soft-label weight than to the temperature: keeping the student anchored to hard labels preserves both accuracy and coarse localization, whereas weighting the teacher heavily degrades both. Fine-grained attribution, however, fell below the undistilled baseline in every configuration tested, indicating that logit distillation transmits where a model attends more readily than the pixel-level structure of that attention. We evaluate 12 cross-architecture combinations of convolutional and transformer-based models, revealing that the inheritance of fine-grained spatial reasoning is fundamentally bottlenecked by the student's intrinsic structural biases. To our knowledge, this is the first application of this interpretability-aware evaluation framework - previously used for neural network pruning - to KD.
著者のコメント
21 pages, 4 figures, 2 tables. Submitted to AJOSR
arXiv ID: 2609.23561 ／ 要約の誤りについて