注意残差モデルの経路エントロピーは不確かさを示すか
Auditing Routing Entropy as an Uncertainty Signal in Attention-Residual Transformers
この論文をやさしく読む
ひとことで言うと
モデル内部の経路のばらつきを見れば、出力の確信度だけを見るより誤りを予測できるかを点検しています。単純にばらつきが大きいから不確かだとは判断できない、という検証です。
何に役立つ？
内部情報を信頼性の指標に使う際、何と比較して改善したのか、検出器に十分な感度があるかを評価する参考になります。
この研究の面白いところ
信号が見つからなかっただけで終わらず、既知の効果を人工的に加えて、検査方法がどれほど回収できるかも測っています。シャッフルした対照を上回ることと、モデル出力を上回ることを区別しています。
どこまで分かった？
対象は2種類のARモデルとCIFAR-10/100の設定です。効果の回収率が不十分なため、経路に追加情報が存在しないとは結論していません。完全なロジットベクトルで条件付けた比較は未解決です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
動的な構成のモデルは、予測とともに各入力の経路選択の履歴を残す。経路選択が分散していると、予測が信頼できない兆候だと解釈しやすい。本研究は、ソフトなビン分割による較正の補助損失を用い、CIFAR-10/100でゼロから学習したSwin-TinyとDeiT-SmallのAttention-Residual（AR）版を対象に、経路エントロピーについてこの解釈を検証する。履歴が、モデル自身の確信度から分かる以上に、正誤に関する情報を持つかを問う。 この追加情報を3つの方法で調べる。確信度を固定しても経路信号が現れるか、学習の乱数シードを変えて再現するか、学習に使わないデータで評価する予測器が、出力のみを使う対照や履歴をシャッフルした対照に比べてその情報を利用できるか、である。続いて感度を点検するため、大きさが既知の効果を注入し、各検査がその何割を回収できるか測る。固定した30検定からなるビン分割の検定群では、多重性の補正後に有意な検定はなく、名目上の有意結果も境界的な結果も、対応する別シードでは再現しなかった。 24組の対応のある実行全体で、スカラーの経路プローブは経路で層別した較正を全体として改善しなかった。エントロピーのプロファイルを使うプローブは、シャッフルしたプロファイルを与えた同じプローブより正誤をよく予測したが、二値の対数損失とBrierスコアの両方で、確信度のみの予測器より劣った。シャッフルした履歴を上回っても、出力を上回ることにはならない。完全なロジットベクトルで条件付けた場合の対応する比較については、結論が出ていない。 本検証は、こうした非検出をどこまで解釈できるかの範囲も示す。0.010ナットの効果を注入したとき、プロファイルのプローブが回収したのはオラクルによる利得の24〜59％であり、参照を保持する補正プローブの回収率は、CIFAR-100の2設定で8％と23％だった。これは、実際のラベルに適用するために事前に定めた閾値を下回る。結果が示すのは、対照条件に依存する利得と推定器による不完全な回収であり、条件付きの経路情報が存在しないということではない。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01（UTC）
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Dynamic architectures leave a per-example routing trace beside each prediction, and diffuse routing is easy to read as a sign that the prediction is unreliable. We audit that reading for routing entropy in Attention-Residual (AR) variants of Swin-Tiny and DeiT-Small, trained from scratch on CIFAR-10/100 with a soft-binned calibration auxiliary loss, asking whether the trace carries information about correctness beyond what the model's own confidence already reveals. Three checks probe this increment: does a routing signal appear at fixed confidence, does it replicate across training seeds, and can a held-out predictor exploit it against output-only and shuffled-trace controls? A sensitivity audit then injects effects of known size and measures the fraction of each that the probes recover. No test in the fixed 30-test binned family survives multiplicity correction, and neither the nominal hit nor a borderline result recurs in its sibling seeds. Across 24 paired runs a scalar routing probe yields no pooled improvement in routing-stratified calibration, and an entropy-profile probe predicts correctness better than the same probe given shuffled profiles yet worse than a confidence-only predictor in both binary log-loss and Brier score: a gain over shuffled traces does not become a gain over the output. Conditioning on the complete logit vector leaves the corresponding comparison unresolved. The audit bounds how far these non-detections can be read: at an injected effect of 0.010 nats the profile probe recovers 24-59% of the oracle gain, and a reference-preserving correction probe recovers 8% and 23% in the two CIFAR-100 settings, below the threshold we fixed for applying it to real labels. The results establish control-dependent gains and incomplete estimator recovery, not the absence of conditional routing information.
著者のコメント
36 pages (9 pages main text)
arXiv ID: 2610.01495 ／ 要約の誤りについて