生成中の文脈に合わせて学ぶ教師AIを重み付け
Distill What You Trust: Reliability-Aware Multi-Teacher On-Policy Distillation
この論文をやさしく読む
ひとことで言うと
複数の専門AIから学ぶとき、文章の途中でも、その場面で頼る教師の比重を変える学習方法です。
何に役立つ？
分野ラベルが十分に付いていない混合データで、複数教師の知識を生徒へ移す用途が考えられます。数学・コード・指示追従で評価されています。
この研究の面白いところ
教師の信頼性を正解ラベルから直接測るのではなく、共通の強化学習前モデルからの変化で近似します。単に重みをばらつかせるだけでは効果がないことも比較しています。
どこまで分かった？
示された数値は回復率であり、そのまま問題正解率を意味しません。信頼性は代理指標で、ラベルを使う方法への接近が明記されているのはSingleCapです。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
複数教師によるオンポリシー蒸留では、生徒モデルが自ら生成する軌跡の上で、相補的な専門能力を持つ教師から学習できる。しかし、分野に基づいて振り分ける方法は、例ごとに1つの教師を選び、応答全体を通して固定する。この設計は、混合された学習コーパスには存在しないことが多いラベルに依存するうえ、1つの生成軌跡の途中で必要な専門知識が変わっても教師選択を適応させられない。 本研究では、例単位の教師選択を、ラベル不要のトークン単位の教師信号配分に置き換えるTrustMOPDを提案する。生徒が生成した各接頭辞において、TrustMOPDは、共通の強化学習前の参照モデルから各専門教師が強化学習によってどれだけ変化したかを局所的信頼性の代理指標とする。そして、教師間でそのスコアを較正し、重み付きの蒸留目標を構成する。数学、コード、指示追従の評価で、TrustMOPDは最も強いラベル不要のベースラインを上回り、回復率をSingleCapでは54.4％から91.5％へ、MultiCapでは54.5％から98.0％へ高める。また、SingleCapではラベルを使うMOPDに近付く。生徒が生成した接頭辞とは独立にトークン単位の重みをランダム化すると、一様重みより良い成績は得られない。この結果は、変化し続ける生成文脈に応じて教師信号を条件付けることの重要性を支持する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Multi-teacher on-policy distillation allows a student to learn from complementary specialists on its own trajectories. Domain-routed approaches, however, select one teacher per example and keep it fixed throughout the response. This design both depends on labels that mixed training corpora often lack and cannot adapt teacher selection when the expertise required changes within a trajectory. We propose \textbf{TrustMOPD}, which replaces example-level teacher selection with label-free, token-level supervision allocation. At each student-generated prefix, TrustMOPD uses each specialist's RL-induced displacement from a shared pre-RL reference as a proxy for local reliability, calibrates these scores across teachers, and constructs a weighted distillation target. Across mathematics, code, and instruction following, TrustMOPD outperforms the strongest label-free baseline, increasing the recovery ratio from $54.4\%$ to $91.5\%$ on \textsc{SingleCap} and from $54.5\%$ to $98.0\%$ on \textsc{MultiCap}, while approaching label-based MOPD on \textsc{SingleCap}. Randomizing token-level weights independently of the student-generated prefix performs no better than uniform weighting, supporting the importance of conditioning supervision on the evolving generation context.
著者のコメント
14 pages, 5 figures, 1 table
arXiv ID: 2609.23697 ／ 要約の誤りについて