不要になった出力を再学習せずに取り除くモデル修正
Repurposing Obsolete Representations for Post-Deployment Adaptation
この論文をやさしく読む
ひとことで言うと
運用中に不要になった分類などを、勾配による再学習をせずに取り除き、残す仕事の精度を保つ方法です。
何に役立つ?
出力クラスや要件が変わる長期運用モデルを、少ない適応コストで修正する用途が考えられます。
この研究の面白いところ
不要になった領域の構造をすべて捨てるのではなく、残すタスクに役立つ情報を再利用します。削除と再配分を解析的な写像で行います。
どこまで分かった?
最大60倍の高速化は競合するアンラーニング手法とのベンチマーク比較です。要旨は個別のデータセットや計測条件を示しておらず、不要な出力の除去が訓練データの完全な忘却を保証するとも述べていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
深層ニューラルネットワークは、学習後にタスクの要件が変化しうる長期運用システムでますます使われている。このような状況では、元の出力空間の一部が不要になることがある。あるクラス、予測領域、学習済みの振る舞いが、もはや有効ではなくなるのである。既存の方法は、不要な振る舞いをそのまま残すか、費用のかかる場合がある微調整を必要とする。 本研究は、タスクの一部が不要になった状況にモデルを適応させる事後的な枠組み、Deep Repurposing(DR)を提案する。DRは、不要となった領域と保持する領域の潜在的な幾何構造を推定し、不要な領域を支える成分を除去する。そのうえで、勾配更新を行わず、解析的な修復写像を通じて、保持する領域と両立する証拠を再配分する。これにより、不要な領域が有効な出力として働かないように予測と表現が修復される一方、不要となった領域の有用な構造は保持するタスクを支えられる。 複数のタスク設定で、DRは保持する部分の有用性を維持しながら、不要な振る舞いを除去する。さらに、分類ベンチマークでは、保持対象の精度で競合するアンラーニングおよび編集のベースラインと同等以上となり、不要な予測をなくし、競合するアンラーニング手法より最大60倍速く適応する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01(UTC)
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Deep neural networks are increasingly deployed in long-lived systems, where task requirements may change after training. In such settings, part of the original output space may become obsolete: a class, prediction region, or learned behaviour may no longer be valid. Existing approaches either leave the obsolete behaviour intact or require fine-tuning, which can be expensive. We propose Deep Repurposing (DR), a post-hoc framework for adapting models under task obsolescence. DR estimates the latent geometry of obsolete and retained regions, removes obsolete-supporting components, and reallocates retained-compatible evidence through an analytic repair map without gradient updates. This yields repaired predictions and representations in which obsolete regions no longer act as valid outputs, while useful obsolete structure can support the retained task. Across multiple task settings, DR removes obsolete behaviour while preserving retained utility. More importantly, across classification benchmarks, DR matches or exceeds competing unlearning and editing baselines in retained accuracy, eliminates obsolete predictions, and adapts up to $60\times$ faster than competing unlearning methods.
arXiv ID: 2610.01453 / 要約の誤りについて