解いた数理モデルから検証可能なエージェント学習環境を生成
Verifiable Hidden Dynamics Play: Generating Agentic RL Environments from Solved Mechanisms
この論文をやさしく読む
ひとことで言うと
数理モデルを先に解き、その答えと動きの規則が一致するエージェント学習環境を大量に作る方法です。
何に役立つ？
長期にわたり道具を使うエージェントの学習用課題と採点基準を作る用途が考えられる。
この研究の面白いところ
先に解いた一つのモデルから環境の規則と採点基準を同時に作り、後から評価を合わせる問題を避ける。
どこまで分かった？
性能値は指定したQwenモデルとベンチマークでの結果であり、外部課題への改善は示すが、すべての環境への一般化は保証していない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
言語モデルのエージェントには、状態が変化し、判断が相互に依存し、結果が遅れて現れる長期課題が増えている。学習を拡大するには、多様な環境、信頼できる結果の判定、拡張費用の低さが必要である。既存の生成工程では、環境を先に作り、結果の規則や行動履歴への注釈を後で決めることが多く、環境の動きと評価を後から整合させる必要がある。VHD-Playは順序を逆にし、まず数学モデルを標本化して解き、その後、資料に基づく生成器が判断過程を状態を持つツールとして描き出す。実行可能な動きの規則と行動履歴の採点基準は、同じ解かれたモデルから引き継ぐ。この工程は、多様なエージェント環境を3,300個、各環境当たり数セントで作った。三つの環境群でQwen3.6-35B-A3Bを学習すると、五群の診断での平均エージェント得点は0.204から0.815へ上がった。改善は学習した三群の未使用事例と、未見の仕組み八群にも現れ、生成環境の外側にある一般的な関数呼び出し、旅行計画、365日間の電子商取引のベンチマークにも及んだ。E-Commerce Benchでは、学習後のモデルはすべての試行を破産せず完了し、Qwen3.7-Maxを上回った。問題を文章で示した場合と、パラメータを示すまたは隠す状態付きの形式を比較すると、学習できる差の大半は、元の問題を解くことより状態を持つ相互作用にあった。固定した35Bの生成器でもより大きな環境を実現でき、仕組みの規模と時間範囲が大きくなっても、規模を揃えた学習で改善が残った。これは発展させられる学習基盤の可能性を示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Language-model agents increasingly face long-horizon tasks with evolving state, interdependent decisions, and delayed outcomes. Scaling their training requires diverse agentic environments, dependable outcome signals, and low extension cost. Existing generation pipelines commonly construct an environment before defining its outcome rule or annotating its trajectories, leaving dynamics and evaluation to be aligned post hoc. VHD-Play reverses this dependency by sampling and solving a mathematical model before a corpus-grounded setter renders its decision process as stateful tools. The executable dynamics and trajectory-scoring reference are inherited from the same solved model. The pipeline produces 3,300 diverse agentic environments at a cost of a few cents each. Training Qwen3.6-35B-A3B on three families raises its mean agentic score from 0.204 to 0.815 in a five-family diagnostic. Gains also appear on held-out instances from all three training families and eight unseen mechanism families, then extend beyond the generated substrate to external benchmarks for general function calling, travel planning, and 365-day e-commerce. On E-Commerce Bench, the trained checkpoint completes every run without bankruptcy and exceeds Qwen3.7-Max. We compare written-out problems with stateful versions that reveal or hide their parameters. The comparison shows that most of the learnable gap lies in stateful interaction rather than underlying problem solving. A frozen 35B setter realizes larger environments, and scale-matched training retains gains as mechanism size and horizon grow, indicating the potential for an evolving training substrate.
著者のコメント
Qwen Technical Report
arXiv ID: 2609.27321 ／ 要約の誤りについて