手話の翻訳と生成を一つのモデルにまとめるSignGPT
SignGPT: Toward LLM-Mediated Sign Language Interaction through Gloss-Free Translation and Generation
この論文をやさしく読む
ひとことで言うと
手話を読み取るモデルと手話を作るモデルを統合し、手話で入力して手話で返答するやり取りを目指す研究です。身体・手・顔の動きを共通のモデルで扱います。
何に役立つ？
手話と文章を行き来する対話システムの基盤となる可能性があります。グロスという手話の中間的な文字注釈を使わず、翻訳と生成を統合します。
この研究の面白いところ
手や身体だけでなく顔の動きも階層的に表現しています。二つの手話データセットでの評価に加え、ASL使用者による探索的な対話評価も行っています。
どこまで分かった？
利用者研究はろう者のASL使用者12人による探索的なものです。要旨に性能指標の数値はなく、すべての手話言語での会話能力や実用性が確立したとは述べていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル（LLM）による手話でのやり取りへの対応は限られている。手話翻訳（SLT）と手話生成（SLG）を統合し、手話を入力と出力の両方に使えるようにすることで、手話とテキストを介するやり取りの際に別々のモデルを切り替える必要を減らせる。 本研究では、グロスを使わないSLTとSLGのための、姿勢情報に基づく統合的な枠組みSignGPTを提案する。SignGPTは、身体、手、顔の動きを部位ごとに捉えた階層表現を共有言語モデルに統合し、非対称な複数トークン予測と段階的訓練を用いて双方向をモデル化する。 How2Sign（アメリカ手話、ASL）とPhoenix-2014T（ドイツ手話、DGS）で、ベンチマーク比較、定性的分析、構成要素を取り除いた比較によりSignGPTを評価する。ろう者のASL使用者12人による探索的研究では、LLMを介して手話入力に手話で応答する処理系を評価し、統一的なモデル化が手話会話（SLC）を支える可能性を示している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Large language models (LLMs) provide limited support for sign language interaction. Unifying sign language translation (SLT) and generation (SLG) to enable sign language as both input and output can reduce switching between separate models during sign-text interaction. We present SignGPT, a unified, pose-based framework for gloss-free SLT and SLG. SignGPT integrates part-aware hierarchical representations of body, hand, and facial motion into a shared language model and employs asymmetric multi-token prediction and progressive training for bidirectional modeling. We evaluate SignGPT on How2Sign (ASL) and Phoenix-2014T (DGS) through benchmark comparisons, qualitative analyses, and component ablations. An exploratory study with 12 Deaf ASL signers assesses an LLM-mediated sign-to-sign response pipeline, highlighting the potential of unified modeling to support sign language conversation (SLC).
arXiv ID: 2609.21709 ／ 要約の誤りについて