効率的な身体知能のための適応的データ選別と接頭辞木強化学習
EmbodiedMind: Adaptive Data Curation and Prefix-Tree Reinforcement Learning for Efficient Embodied Intelligence
この論文をやさしく読む
ひとことで言うと
身体を使って行動するAIの学習で、有益な事例を選び、課題の偏りを抑え、長い計画のどの判断が良かったかを細かく評価します。
何に役立つ？
大量のデータと計算を必要とする学習で、サンプル利用と長期計画の学習信号を改善する設計です。
この研究の面白いところ
難易度別の課題キューと、行動の共通の先頭部分をまとめる木を使います。後半の失敗を理由に前半の正しい判断まで一律に罰する問題を避けようとしています。
どこまで分かった？
18ベンチマーク平均70.02%と報告していますが、要旨には課題別の成績や資源削減量はありません。再現用プロジェクトは公開予定とされ、既に公開済みとは書かれていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
身体知能の基盤モデルの学習には通常、大規模なデータセットと膨大な計算資源が必要だが、三つの重大な制限に悩まされることが多い。第一に、情報量の少ないサンプルによるサンプル利用効率の低さ、第二に、異なるタスク間で勾配への寄与が不均衡になること、第三に、長期計画で軌跡全体の報酬がすべてのトークンを一律に罰するため、クレジット割り当てが極めて難しいことである。これらに対処するため、戦略的なデータ選択と階層的な方策最適化によって平均性能の最先端を達成する、効率的な学習パラダイムを提案する。 手法は相乗的に働く3段階からなる。第一に、拒否サンプリング微調整（RSFT）は情報量の少ないサンプルを除外し、分布崩壊を防ぎながら頑健な行動事前分布を作る。第二に、反復拒否GRPO（IR-GRPO）は難易度で層別化したタスク別キューを用い、強化学習の反復を通じてデータセットの均衡を保つとともに、タスク間のフィードバックを正確に伝えるハイブリッド報酬機構を組み込む。第三に、長期タスク計画を強化するため、行動接頭辞木に基づく新しい強化学習アルゴリズムTrie-GRPOを導入する。これはステップ単位のアドバンテージ推定を可能にし、後続の誤りから途中の正しい判断を切り分けてクレジット割り当て問題を解決する一方、従来の探索木と比べて探索効率と深さのバランスを取る。 その結果、EmbodiedMindは18ベンチマークで平均70.02％の最先端性能を達成し、長期タスク計画の正確さで他の身体知能基盤モデルを大きく上回った。再現性のためプロジェクトを公開する予定である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Training embodied foundation models typically requires massive-scale datasets and extensive computational resources, yet often suffers from three critical limitations: (1) inefficient sample utilization due to low-informative samples; (2) imbalanced gradient contributions across heterogeneous tasks; and (3) severe credit assignment problem in long-horizon planning, where trajectory-level rewards indiscriminately penalize all tokens. To address these issues, we propose an efficient training paradigm that achieves state-of-the-art average performance through strategic data selection and hierarchical policy optimization. Our approach consists of three synergistic stages. First, Rejection Sampling-based Fine-Tuning (RSFT) filters out low-informative samples to establish robust behavioral priors while preventing distributional collapse. Second, Iterative Rejection GRPO (IR-GRPO) employs task-specific queues stratified by difficulty to keep datasets balanced across reinforcement learning iterations, coupled with a hybrid reward mechanism for precise cross-task feedback. Third, to enhance long-horizon task planning, we introduce Trie-GRPO, a novel reinforcement learning algorithm based on action prefix trees, which enables step-level advantage estimation. This resolves the credit assignment problem by isolating intermediate correct decisions from downstream errors, while effectively balancing exploration efficiency and depth compared to conventional search trees. As a result, EmbodiedMind achieves a state-of-the-art average performance of 70.02% across 18 benchmarks, and significantly outperforms other embodied foundation models in long-horizon task planning accuracy. Our project will be released for reproducibility.
arXiv ID: 2609.19659 ／ 要約の誤りについて