指示学習で残すプロンプトと応答を連動して選ぶ手法
Token Utility Is Selection-Conditioned: Coupled Selection of Prompt Context and Response Supervision for Efficient Instruction Tuning
この論文をやさしく読む
ひとことで言うと
指示学習のデータ量を減らすとき、プロンプトと応答の重要な部分を互いの選択結果に応じて決める手法である。
何に役立つ？
少ないトークンでモデルを指示学習させるため、学習に残す文脈と応答を選ぶ際に役立つ。
この研究の面白いところ
プロンプトと応答を独立に採点せず、片方を残した状態で他方の価値を更新する。数学的推論では圧縮率が高いほど独立選択との差が広がった。
どこまで分かった？
要旨には具体的な改善率や学習費用の数値は示されていない。評価対象は三つのモデル系列と記載されている。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデルの指示学習を効率化するには、学習に使う応答だけでなく、それを支えるプロンプトの文脈も選ぶ必要がある。既存手法は通常、この二つを別々に評価するため、価値を測ったときの選択状態と、実際に残す学習部分集合とが食い違う恐れがある。BRIDGE（Budgeted Response-Prompt Interaction via Directional Gradient-guided Efficient Token Selection）は、検証結果を指標とする共通の相互作用の代理モデルを使い、片方に残す部分集合の状態のもとで、もう片方のトークンの有用性を評価する。予算を考慮して交互に選択し、現在残している相手側の部分集合について事前計算した相互作用を集約して、条件付きのスコアを更新する。構造を考慮した射影により、応答側の条件付きスコアを、まとまった学習対象の文章範囲へ変換する。三つのモデル系列にまたがる評価で、BRIDGEは数学的推論、コード生成、指示追従の全体で比較対象の選択手法を上回った。数学的推論では、プロンプトと応答を独立に選ぶ場合との優位性は、圧縮を強めるほど大きくなった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-19（UTC）
- 最新改訂
- 2026-09-19 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-19 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Efficient large language model (LLM) instruction tuning requires selecting response supervision with supporting prompt context. Existing methods typically value both sides separately, risking selection-state mismatch between valuation and retained training subsets. BRIDGE (Budgeted Response-Prompt Interaction via Directional Gradient-guided Efficient Token Selection) captures selection-conditioned token utility through a shared validation-directed interaction surrogate valuing each side under the other's retained state. Budgeted alternating selection coordinates retained subsets by aggregating precomputed interactions over the current opposite-side subset to update conditional scores. Structure-aware projection converts conditional response scores into coherent supervision spans. Across three model families, BRIDGE leads compared selection methods overall in mathematical reasoning, code generation, and instruction following. In mathematical reasoning, its advantage over independent selection grows with compression.
著者のコメント
Work in progress
arXiv ID: 2609.22943 ／ 要約の誤りについて