126日間の一人称映像から個人の次の行動を予測する
NextMe-800: Anticipating Personal Behavior from Months of Egocentric Video
この論文をやさしく読む
ひとことで言うと
長期間の日常映像を使い、その人が次にどんな行動を取るかを評価するデータセットとベンチマークです。
何に役立つ？
個人の習慣を踏まえた行動予測の研究に使えます。計画づくりや意思決定の支援は想定される用途で、その改善を実証したとは要旨に書かれていません。
この研究の面白いところ
同じ映像に、細かな動作から大きな活動まで5段階の説明を付けています。予測する行動の粒度と、どのくらい先まで予測するかの両方を変えて比較できます。
どこまで分かった？
NextMe-800自体の収録対象は1人です。NextActには複数人の別データも組み合わせていますが、要旨に各モデルの具体的な予測成績は示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
私たちは意欲的な計画を立てながらも習慣に従って行動することが多く、後から、自分が実際に何をするかを知っていたなら計画を変えていただろうかと考える。後知恵は過去の判断を見るうえで貴重な視点を与えるが、選択の時点でそれを模擬できればと望むことも多い。個人の履歴からもっともらしい行動の経過を生成するシステムがあれば、その事前の見通しは、より現実的な計画を立て、より十分な情報に基づく判断をする助けになるかもしれない。 本研究は、1人の協力者から126日間にわたり収集した約800時間の一人称データセットNextMe-800を導入する。1 Hzの画像、視線、音声を含み、最小単位の動作から大きな活動まで5段階の階層的な抽象度でキャプションを付けている。個人に特化した行動の予測を、オープン語彙によるKステップの系列予測として定式化し、NextMe-800と複数人のEgoLifeデータセットを組み合わせた1,500点のベンチマークNextActを構築する。埋め込みに基づくソフト編集距離を指標として、抽象度や予測する先の長さを変えながら、さまざまなモデルが個人の行動をどこまで予測できるかを評価する。NextMe-800とNextActは、一人称の観察から個人の行動をどれほど先まで予測できるかを研究するための、数か月にわたる資料と評価の枠組みを提供する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01（UTC）
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We often plan ambitiously yet act habitually and wonder, in retrospect, whether we would have planned differently had we known what we would actually do. Hindsight offers a valuable perspective on past decisions, although we often wish we could have simulated hindsight at the moment of choosing. If a system could generate plausible trajectories from one's personal history, such previews might help people formulate more realistic plans and make better informed decisions. We introduce NextMe-800, an approximately 800-hour first-person dataset from one volunteer over 126 days with 1 Hz images, gaze, and audio, captioned at five hierarchical abstraction levels from atomic actions to major activities. We formulate personalized action anticipation as open-vocabulary K-step sequence prediction and construct NextAct, a 1,500-point benchmark combining NextMe-800 with the multi-person EgoLife dataset. Using an embedding-based soft edit distance as the metric, we evaluate how well different models can anticipate personal behavior across abstraction levels and prediction horizons. NextMe-800 and NextAct provide a months-long resource and evaluation framework for studying how far ahead personal behavior can be anticipated from egocentric observation.
著者のコメント
24 pages, 7 figures. Dataset and benchmark: https://huggingface.co/datasets/mmm8383/NextMe-800 ; project page: https://kkkkawayi.github.io/nextme-800/
arXiv ID: 2610.01461 ／ 要約の誤りについて