誤ったトークンから直してLLMの学習データを作る
onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and Agents via Token-Level Correction
この論文をやさしく読む
ひとことで言うと
回答を全部書き直す代わりに、最初の誤りを直して続きをモデルに生成させる注釈ツールです。
何に役立つ？
LLMの応答改善やエージェントの学習データ作成に役立ちます。時間の中央値52％削減は小規模な比較実験の結果です。
この研究の面白いところ
修正前後のトークンが位置付きの正例・負例になります。大部分をモデル自身に生成させ、そのモデルが普段出す文章の分布をおおむね残します。
どこまで分かった？
要旨には比較実験の人数はありません。学習データとしての適性と、学習後の性能向上が実証されたことは区別する必要があります。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
LLMのアラインメント用データとエージェントの行動軌跡を効率よく注釈付けする対話型ツールonPandaを提案する。中心的な操作はトークン単位の修正である。注釈者はモデルの応答を読みながら最初の不適切なトークンを見つけ、モデルの候補から代わりを選ぶか、自由編集で正しい文章を入力する。システムはその位置より後をすべて切り捨て、修正済みの前半部分から生成を続ける。満足できる応答になるまで、この発見・修正・継続のループを繰り返す。この仕組みにより、注釈者は低い負担でモデル出力を精密に誘導できる。小規模な比較実験では、手作業での事後編集に比べ、注釈時間の中央値を52％削減できることが示唆された。最終応答のトークンの大部分はモデル自身が生成するため、得られるデータはモデルのサンプリング分布をおおむね保ち、オンポリシーの教師あり微調整（SFT）や選好データの構築に適している。さらに、記録されたトークン単位の修正は、正確な位置情報と自然に対になった正例・負例を備える細粒度の教師信号になる。onPandaは外部ツールや実行基盤にも接続でき、現実的な環境で行動軌跡を対話的に注釈付けできる。加えて、onPandaで注釈付けしたデータセットPanda-CVLを、トークン単位の修正用ベンチマークとともに公開する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We present onPanda, an interactive tool for efficiently annotating LLM alignment data and agent trajectories. onPanda adopts token-level correction as its core interaction: while reading a model response, the annotator locates the first inappropriate token and either picks a substitute from the model's candidate tokens or types the correct text via free-form editing. The system then truncates everything after that position and continues generation from the corrected prefix, repeating this locate-correct-continue loop until a satisfactory response is obtained. This mechanism lets annotators precisely steer model outputs at low cost: a small controlled study suggests that onPanda reduces median annotation time by 52% over manual post-editing. Since the vast majority of tokens in the final response are generated by the model itself, the resulting data largely preserves the model's sampling distribution and is well suited for constructing on-policy SFT and preference data. Furthermore, the token-level corrections recorded during annotation provide fine-grained supervision with precise positions and naturally paired positive--negative samples. onPanda also connects to external tools and harnesses, enabling interactive trajectory annotation in realistic environments. In addition, we release Panda-CVL, a dataset annotated with onPanda, together with a benchmark for token-level correction.
著者のコメント
Project page: https://on-panda.github.io/research/
arXiv ID: 2609.24983 ／ 要約の誤りについて