複数ロボットの手首カメラを協調作業の視点として活用
MAAP: Multi-Agent Active Perception for Collaborative Manipulation
この論文をやさしく読む
ひとことで言うと
作業中の各ロボットの手首カメラを仲間のための動く目としても使い、複数の腕で見え方と行動を補い合う方法です。
何に役立つ？
専用の観測用アームを追加せず、協調操作の中で得られる視点を活用する設計に役立ちます。シミュレーションに加え、双腕の配置試験も報告しています。
この研究の面白いところ
視点数を増やす効果と、各アームの役割を学ぶRAILの効果を分けています。RAILの改善は特に3本アームのタスクへ集中し、同じ映像入力でも役割表現が有効でした。
どこまで分かった？
79.2％は4つのシミュレーションタスクの結果で、実機の配置試験は20回中14回です。固定視点ACTの0回との比較もこの試験条件に限られ、あらゆる操作タスクで同じ差があるという意味ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
複数エージェントによる物体操作では、各アームが手首カメラを持ち、行動しながら場面内を移動するため、タスクに応じた複数の視点が自然に生じる。しかし、これらの観測は十分に活用されないことが多く、操作における能動知覚は、専用の観測エージェントを必要とするものとして扱われることが依然として多い。 私たちはMAAP（Multi-Agent Active Perception）を導入する。ここでは各アームが2つの目的を持つ。物体操作の行動を実行すると同時に、搭載した手首カメラを通じてチームの動く視点として機能する。これにRAIL（Role-Aware Imitation Learning）を組み合わせる。RAILは各アームの現在の役割を行動のまとまりとともに予測し、その役割を条件として行動を生成する制御器であり、役割に依存する行動を1つのネットワーク内で表現する。 4つのシミュレーションタスクでは、利用する視点を広げると、平均成功率は固定カメラの56.5％から、1つの能動的な手首視点で62.5％、すべての手首視点で70.0％へ上がる。MAAPとRAILを組み合わせると79.2％に達する。RAILによる追加の改善は3本アームのMicrowaveタスクに集中しており、同一の複数手首カメラ入力で成功率が47％から82％へ上昇する。双腕プラットフォームでは、固定視点のACTが配置試行20回中0回の成功だったのに対し、MAAPとRAILは20回中14回成功する。このように、協調的な物体操作は、それ自体で能動知覚の仕組みとして機能し得る。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Multi-agent manipulation naturally produces multiple task-driven viewpoints: every arm carries a wrist camera and moves through the scene while acting. Yet these observations are typically underutilized, and active perception in manipulation is still often treated as requiring a dedicated sensing agent. We introduce MAAP (Multi-Agent Active Perception), in which every arm is dual-purpose: it executes manipulation actions and, through the wrist camera it carries, simultaneously serves as a moving viewpoint for the team. We pair this with RAIL (Role-Aware Imitation Learning), a controller that predicts each arm's current role alongside its action chunk and conditions action generation on it, representing role-dependent actions within one network. Across four simulated tasks, widening the perception regime lifts average success from 56.5% with a fixed camera to 62.5% with one active wrist view and 70.0% with all of them, while MAAP+RAIL reaches 79.2%. RAIL's additional gain is concentrated on the three-arm Microwave task, where success rises from 47% to 82% on identical multi-wrist inputs. On a dual-arm platform, MAAP+RAIL succeeds in 14 of 20 placement trials compared with 0 of 20 for fixed-view ACT. Collaborative manipulation can thus serve as an active perception mechanism in its own right.
著者のコメント
Project Page: https://nybchen.github.io/MAAP
arXiv ID: 2609.21929 ／ 要約の誤りについて