小型言語モデルに検索の次の操作を学習させる
The Fellowship of the Query: Learning Retrieval Actions
この論文をやさしく読む
ひとことで言うと
検索を使って質問に答える小型AIに、次に検索するか証拠を記録するかなどの操作を学ばせた研究。
何に役立つ？
小型モデルで検索付き質問応答を構築するとき、制御操作を学習させる効果と限界を判断する材料になる。
この研究の面白いところ
1,646件の行動例ではマクロF1が0.6536に達した一方、制御器だけの変更による最終回答の改善は統計的に明確でなかった。
どこまで分かった？
結果は採用した教師の検索履歴と149件の最終評価履歴に基づく。制御器単独の最終回答改善は明確とされていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
検索を利用する質問応答では、いつ質問を分解し、検索し、言い換え、証拠を抽出し、事実をまとめ、進捗を検証し、終了するかという制御判断が必要である。本研究は、行動の履歴に基づく微調整によって、小型言語モデルの次の操作を選ぶ能力を改善できるか調べる。さらに、単一の小型モデルが操作の制御と最終回答の生成の両方を担う、資源の少ない設定も評価する。採用された教師モデルの検索履歴から、現在までの作業状態を基に次の構造化された教師の操作を予測する、7種類の行動予測課題を作り、小型モデルと超小型モデルにLoRAを用いた教師あり微調整を施して制御器として評価した。保留しておいた1,646件の行動例では、13,194件の行動で学習したGranite 4.1 3BのマクロF1は0.6536だった。同じモデルに学習なしで指示する場合の0.1736、およびTF-IDFとロジスティック回帰を用いる基準法の0.5399を上回る。保留した149件の作業履歴で制御器と回答生成器を入れ替える一連の評価では、微調整済みモデルを両方の役割に使うと、基盤モデルを両方に使う場合に比べ、完全一致率は0.7530から0.7946、トークンF1は0.7783から0.8295に上がった。役割を分けて比較すると、回答生成器を固定した場合、微調整済みの制御器は証拠となる事実の記録を増やしたが、制御器だけを変更したときの最終回答の改善は統計的に明確ではなかった。総じて、この評価環境では作業履歴による教師あり学習が行動予測と証拠記録の振る舞いを改善した。コードは論文に示されたGitHubリポジトリで公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Retrieval-augmented question answering requires control decisions about when to decompose a question, search, reformulate, extract evidence, synthesize facts, verify progress, and stop. We study whether trajectory fine-tuning can improve small language models (SLMs) as next-action controllers. We additionally evaluate a low-resource setting in which a single SLM serves as both the controller and the final-answer generator. From accepted teacher search traces, we build a seven-way action-prediction task, where the model predicts the next structured teacher action from the current trajectory state, and evaluate LoRA-supervised fine-tuning across SLMs and xSLMs as controllers. On 1,646 held-out action examples, Granite 4.1 3B trained on 13,194 actions reaches macro-F1 0.6536, compared with 0.1736 for zero-shot prompting of the same model and 0.5399 for a TF-IDF logistic-regression baseline. In an end-to-end controller/generator swap evaluation over 149 held-out trajectories, using the fine-tuned model for both roles improves Exact Match from 0.7530 to 0.7946 and token F1 from 0.7783 to 0.8295 compared with using the base model as both controller and generator. The cross-role conditions show that the fine-tuned controller increases evidence-fact recording when the generator is fixed, while controller-only final-answer gains are not statistically clear. Overall, trajectory supervision improves action prediction and evidence-recording behaviour in this evaluated pipeline. Code is available at https://github.com/padas-lab-de/agent-action-controller
arXiv ID: 2609.28653 ／ 要約の誤りについて