人体形状を推定し次の視点を選ぶ処理を小型端末で実行
LEAP-NBV: Lightweight Edge Active-Perception for Foundation-Model Next-Best-View Planning
この論文をやさしく読む
ひとことで言うと
人体の3次元形状を推定し、より見やすい位置を選ぶ処理を、小型の計算端末内で動かすためにモデルを圧縮しています。
何に役立つ？
外部の計算機へ通信で処理を任せにくい移動ロボットで、視点計画を行う用途が考えられます。Jetson Xavier NXで遅延とエネルギーを実測しています。
この研究の面白いところ
形状推定モデル単体の速さだけでなく、遮蔽を考慮した視点計画を含む一連のループでも測定しています。蒸留による誤差改善と圧縮後の運用性能を区別しています。
どこまで分かった？
約12 msはHMRエンジン単体の値で、閉ループ全体は3.6 FPSです。誤差の6～7 mm改善は蒸留前の生徒モデルとの比較であり、非圧縮モデルとの精度差と混同できません。実環境の戦術任務での成果は要旨に示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
基盤モデルは自律システムの知能を高め、視覚を通じて環境をより包括的に理解できるようにしている。代表例である人体メッシュ復元（HMR）は、対象の3次元姿勢と形状の有用な推定を提供し、戦術的任務にも役立ち得る。しかし、こうしたモデルの大きさと電力需要は、エッジ基盤での実行を難しくし、リアルタイム性能を制限する。これは戦術的なエッジ展開の要件を損ない、特に移動ロボットが次の最適視点を機上で計画し、通信が妨害される状況では計算を外部へ委託できない能動知覚で問題となる。 基盤モデルに基づく次最適視点（NBV）計画をエッジ端末上で実行する軽量な能動知覚の枠組みLEAP-NBVを提示する。そのために、複数の大規模HMR教師モデルを、オフラインのメッシュ目的関数を使ってそれぞれ3200万パラメータの小型生徒モデルへ蒸留する。次に、視覚エンコーダをFP16へ量子化し、端末上の精度と遅延を調べる。遮蔽を考慮した能動知覚ループの中で、すべての構成を同じ未使用の評価ベンチマークで比較し、処理全体をNVIDIA Jetson Xavier NXに実装して、端末上で実測した遅延とエネルギーを報告する。 テストセットでは、蒸留により、蒸留していない生徒モデルに比べてProcrustes整列後の平均頂点位置誤差（PA-MPVPE）が6～7 mm改善した。エッジに最適な圧縮モデルを選ぶと、小さな精度低下と引き換えにHMRエンジンを約12 msで実行できる。閉ループ全体は3.6 FPS、1フレーム当たり2.6 Jで動作し、下流課題の品質をほぼ維持しながら、非圧縮モデルに対して速度は2.0倍、エネルギーは3分の1となった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Foundation models are endowing autonomous systems with greater intelligence, enabling a more comprehensive understanding of the environment through visual perception. A representative example is Human Mesh Recovery (HMR), which provides useful estimates of a target's 3D pose and shape that can benefit tactical missions. However, the size and power demands of such models make them difficult to run on edge platforms and limit their real-time performance, undermining the requirements of tactical edge deployment - especially for active perception, where a mobile robot must plan its next-best view on-board and cannot offload computation under contested communications. We present LEAP-NBV, a lightweight active-perception framework that runs foundation-model-driven Next-Best-View (NBV) planning on-board an edge device. To this end, we distill a family of large HMR teachers, each into a compact 32M student, with an offline mesh objective, then quantize the vision encoder to FP16 and characterize its on-device accuracy and latency. Within an occlusion-aware active perception loop, we evaluate all configurations on the same held-out benchmark and deploy the end-to-end pipeline on an NVIDIA Jetson Xavier NX, reporting measured on-device latency and energy. Distillation recovers 6-7 mm of Procrustes-aligned mean per-vertex position error (PA-MPVPE) over the undistilled student on the test set. Selecting the edge-optimal compression model brings the HMR engine to ~12 ms at a small accuracy cost and runs the full closed loop at 3.6 FPS and 2.6 J per frame, achieving a 2.0x speedup and 3.0x lower energy than the uncompressed model while nearly matching downstream task quality.
arXiv ID: 2609.23974 ／ 要約の誤りについて