独立した機械学習基盤で言語モデルの学習全工程を再現
Pretraining and adapting a language model on a dependency-free stack: GPT-2 124M from random weights, reproduced against llm.c, and a clinical adapter for Qwen3-0.6B
この論文をやさしく読む
ひとことで言うと
一般的な基盤とは別に作ったソフトウェアで言語モデルの事前学習と追加学習を行い、結果と速度を参照実装と比べた。
何に役立つ？
言語モデルの学習結果が特定のソフトウェアに依存するかを検討する材料になる。臨床用途に向けたモデルの有効性を示す研究ではない。
この研究の面白いところ
同一ハードウェア上の参照実装と工程全体を比較し、別のハードウェアで参照実装を再実行して環境差の大きさも測っている。
どこまで分かった？
速度は本番設定での一回の測定であり、一般的な速度優位を確定するものではない。臨床用に適応したモデルは医療機器ではなく、臨床使用の検証はない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
実用中のほぼすべての言語モデルは、同じ系統のソフトウェアで学習されている。その集中のため、言語モデルの学習について知られていることが、モデル自体の性質なのか、そのソフトウェアの性質なのかを見分けにくい。この問題を調べるには、一つの演算子だけでなくモデルの一連の工程を扱える別実装が必要となる。本研究は、そのような工程を報告する。第三者の実行時依存がないZig製の機械学習基盤numbatを用い、1億2,440万パラメータのGPT-2をランダムな初期値からウェブテキスト99億1,000万トークンで事前学習し、別の小型モデルを臨床分野の質問応答へ適応させた。両段階で同じハードウェア上の参照実装を動かし、実行を停止する権限を持つ監視用の補助系が各実行を監督した。結果は近かった。未使用データでの交差エントロピーは公表値3.29に対して3.2588、HellaSwagは0.299に対して0.3053だった。対応づけた8回の評価では、同じマシン上の参照実装より毎回低く、平均差は0.0608だった。その参照実装を別のハードウェアで動かし直すと0.0035変化し、差のどれだけが手法と基盤に由来するかを判断する際の範囲を示した。 一致のために処理速度を犠牲にはしていない。本番用の設定での一回の測定では、numbatが毎秒43,374トークン、PyTorchが41,202トークンで、3枚のカードへの拡張で2.769倍となった。臨床分野への適応後の未使用データでの損失は、参照実装の2.1941に対して2.1899だった。どちらのモデルも医療機器ではなく、臨床用途の検証も受けていない。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Almost every language model in service was trained by one family of software. That concentration makes a question hard to settle: how much of what is known about training a language model describes language models, and how much describes that software? Settling it needs a second implementation able to carry a model through a whole lifecycle rather than reproduce one operator. We report such a lifecycle. Using numbat, a machine-learning stack written in Zig with no third-party runtime dependencies, we pretrain a 124.4 M-parameter GPT-2 from random initialisation over 9.91 B tokens of web text, then adapt a separate small model to clinical question answering. A reference implementation runs on identical hardware at both stages, and a sidecar with authority to halt a run supervises each. Agreement is close. Held-out cross-entropy finishes at 3.2588 against a published 3.29, and HellaSwag at 0.3053 against 0.299; across 8 paired evaluations it sits below a same-machine reference at every point, by 0.0608 on average. Re-running that reference on different hardware moves it 0.0035, which bounds how much of any gap is method rather than framework. Throughput does not pay for agreement: measured in one session at a production configuration, numbat reaches 43,374 tokens per second against PyTorch's 41,202, scaling 2.769x over three cards. Clinical adaptation ends at 2.1899 held-out loss against 2.1941. Neither model is a medical device, and neither is validated for clinical use.
著者のコメント
20 pages, 2 figures, 7 tables. Weights: https://huggingface.co/cloudkites/gpt2-124m-fineweb-edu Licence: Apache-2.0. Weights, a config and an evaluation curve only; no framework source is released and none is needed to use them
arXiv ID: 2609.28568 ／ 要約の誤りについて