計算資源と複数の能力を結び付ける能力多様体
The Capability Manifold and ML Scaling Laws
この論文をやさしく読む
ひとことで言うと
モデルの複数の能力が、学習前後と推論時の資源でどう変わるかを表す理論枠組みである。
何に役立つ？
モデル開発で計算資源をどこへ配分するかを考える際の概念整理に役立つ。
この研究の面白いところ
予測損失だけでなく、推論や計画など複数能力を資源との関係として扱う。
どこまで分かった？
既存のスケーリング則を組み込む枠組みを示したもので、具体的なモデル群での新しい能力予測精度は要旨にない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
従来の機械学習のスケーリング則は、予測損失を計算量、モデルのパラメータ数、データ量と関係付ける。しかしモデルがエージェント基盤を通じて利用されるようになると、損失だけでは後段の性能を十分に特徴付けられない。損失が似たモデルでも、推論、検索、計画、適応の能力が異なる場合がある。一方、こうした能力と、機械学習のライフサイクル全体で利用できる複数の資源を結ぶ統一的な枠組みはない。 この隔たりを埋めるため、事前学習、追加学習、推論時の資源を、境界を持つスケーリング関数を介して後段の能力に対応付ける多次元の枠組み、能力多様体を導入する。解析的なヤコビ行列によって、資源の変化や資源間の相互作用に対する能力の感度を数量化する。最初の応用として、Kaplan型とChinchilla型のスケーリング則、および推論時の計算量をこの枠組みに組み込み、既存のスケーリング関係を共通の能力多様体上の軌道として統合できることを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Existing machine learning (ML) scaling laws relate predictive loss to compute, model parameters, and data. However, as models are increasingly deployed through agentic harnesses, loss alone is insufficient to characterize downstream performance: models with similar loss can exhibit different capabilities in reasoning, retrieval, planning, and adaptation. Yet, no unified framework connects such capabilities to the coupled resources available across the ML lifecycle. We bridge this gap by introducing a capability manifold, a multidimensional framework mapping downstream capabilities to pre-training, post-training, and test-time resources through bounded scaling functions. Analytical Jacobians quantify capability sensitivity to resource changes and interactions. As an initial application, we embed Kaplan- and Chinchilla-type scaling laws and test-time compute within the framework, demonstrating how existing scaling relationships can be unified as trajectories on a common capability manifold.
arXiv ID: 2609.27588 ／ 要約の誤りについて