推論時に130億パラメータを使うHunyuan-A13B
Hunyuan-A13B Technical Report
この論文をやさしく読む
ひとことで言うと
総数800億のうち推論時に130億を使う混合専門家型の言語モデルの技術報告。
何に役立つ？
公開モデルとして、性能と推論費用の釣り合いを検討する材料になる。
この研究の面白いところ
速い思考と遅い思考を課題に応じて使い分ける設計を組み込む。
どこまで分かった？
要旨は複数分野で競争力があると述べるが、比較対象や個別の得点は記載していない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
混合専門家（MoE）構造に基づくオープンソースの大規模言語モデルHunyuan-A13Bを提示する。総パラメータ数は800億だが、推論時に有効になるのは130億で、モデルの能力、計算効率、運用費用の釣り合いを図る。STEMデータの選別を強化し、厳密にフィルタリングした20兆トークンのコーパスで事前学習することで、事実に関する信頼性と推論能力を改善する。質の高い教師あり微調整と大規模な強化学習によって全体的な性能をさらに高める。また、課題の複雑さに推論の深さを合わせる二つの思考モードを持つChain-of-Thoughtの枠組みを導入する。日常的な質問には速い思考を、複雑で複数段階の問題には遅い思考を使う。評価では、数学、科学、プログラミング、一般的な言語理解、エージェントの課題で競争力のある性能を示し、多くの場合ははるかに大きいモデルに近づいた。推論時の高い処理量から、遅延に敏感な用途に適している。開かれた研究と実用的な言語モデルの運用を支えるため、Hunyuan-A13Bを公開する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We present Hunyuan-A13B, an open-source large language model based on a Mixture-of-Experts architecture. It contains 80 billion total parameters but activates only 13 billion during inference, balancing model capability, computational efficiency, and deployment cost. The model is pretrained on a rigorously filtered 20T-token corpus with enhanced STEM data curation, improving factual reliability and reasoning ability. High-quality supervised fine-tuning and large-scale reinforcement learning further enhance its overall performance. Hunyuan-A13B also introduces a dual-mode Chain-of-Thought framework that adapts reasoning depth to task complexity: fast thinking for routine queries and slow thinking for complex, multi-step problems. Evaluations show competitive performance across mathematics, science, programming, general language understanding, and agent tasks, often approaching that of much larger models. Its high inference throughput makes it suitable for latency-sensitive applications. We release Hunyuan-A13B to support open research and practical LLM deployment.
arXiv ID: 2609.27284 ／ 要約の誤りについて