arXiv論文メモ
新着一覧
cs.CV · 査読状況未確認

人と物の関係を軽量に検出する画像モデル

HOIBlender: Blending Lightweight Detection with Vision-Language Priors for Efficient Human-Object Interaction Detection

Junwen Chen and Keiji Yanai

この論文をやさしく読む

ひとことで言うと

画像から人がどの物に何をしているかを、軽量な検出器と画像・言語の知識を組み合わせて判定する。

何に役立つ?

人と物の相互作用の画像認識で、計算量を抑えながら少数例の動作を扱う用途が考えられる。

この研究の面白いところ

専用の重い符号器を省き、空間関係とBLIP-2の意味情報を二段階の復号器で融合する。

どこまで分かった?

性能値はHICO-DETと指定された比較法での結果であり、他データセットでの性能は要旨に示されていない。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

人と物の相互作用(HOI)の検出では、関係する人と物の組を画像中で特定し、その間の動作を表す動詞を認識する必要がある。とくに頻度の低い組合せでは教師データが少ない。近年の方法は強力な検出器や画像と言語の事前知識で精度を上げるが、重いTransformer符号器や複雑な手順を重ねることが多い。HOIBlenderは、検出器に基づく画像トークン、人と物の空間関係、BLIP-2の意味的な事前知識を一つの軽量な復号処理に組み込む。DINOv2を基盤とするRF-DETR/LW-DETR型の構成を用い、複数尺度の投影器から画像に応じた上位K個のトークンを人と物の候補として直接選び、専用の符号器段階を省く。二段階の復号器はまず人と物の幾何関係を安定させ、次にBLIP-2の事前知識を段階的に融合して動詞とHOIを分類する。少数例のカテゴリに備え、分類器の重みはBLIP-2のテキスト埋め込みで初期化する。グループ化したクエリによる学習は、推論費用を増やさず最適化を充実させる。Nano、Small、2XLの3規模でHICO-DET上のSOV-STG-VLAとHybrid-SOV-VLAを一貫して上回り、わずか9エポックの学習でDefault Full mAP 44.49に達し、遅延とパラメータ数も競争力のある水準に保った。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-20(UTC)
最新改訂
2026-09-20 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Human-object interaction (HOI) detection requires grounding an interacting human-object pair and recognizing the verb that links them, often under severe long-tail supervision. Recent methods improve accuracy with stronger detectors and vision-language priors, but many still stack heavy transformer encoders, intricate denoising schedules, or post-hoc semantic calibration on top of the detector. We present \textbf{HOIBlender}, an efficient HOI detector named after its core design principle: blending detector-grounded visual tokens, spatial subject-object reasoning, and BLIP-2 semantic priors inside one lightweight decoding pipeline. HOIBlender builds on an RF-DETR/LW-DETR-style foundation with a DINOv2 backbone and selects top-$K$ image-conditioned tokens directly from the multi-scale projector as subject and object candidates, removing the dedicated encoder stage retained by prior HOI methods. A dual-stage decoder first stabilizes human-object geometry and then performs verb and HOI classification through progressive BLIP-2 prior fusion, with classifier weights initialized from BLIP-2 text embeddings for long-tail categories. Grouped-query training further enriches optimization without increasing inference cost. Across three model scales (Nano, Small, 2XL), HOIBlender consistently outperforms SOV-STG-VLA and Hybrid-SOV-VLA on HICO-DET, reaching $44.49$ Default Full mAP in only $9$ training epochs while maintaining competitive latency and parameter budgets. These results show that lightweight detection, structured spatial-semantic decoding, and deeply integrated vision-language priors can be blended into a single efficient HOI pipeline.

arXiv ID: 2609.23431 / 要約の誤りについて