6万パラメータ三値言語モデルの比較条件を再検証
Baseline Shape Decides the Verdict: A Controlled Re-Examination of Ternary Language Models at 60K Parameters
この論文をやさしく読む
ひとことで言うと
小規模な三値言語モデルの優位性を再検証し、比較相手の深さや幅、学習率の選び方で結論が変わることを示します。
何に役立つ？
小型言語モデルを比較する際に、パラメータ数だけでなく形状、量子化の範囲、学習率も揃えて評価するための参考になります。
この研究の面白いところ
1600万バイトでは最良形状のTransformerがルータ付きモデルに並び、1億3000万バイトではルータ付きモデルが勝つ一方、より単純な状態空間モデルがさらに上回りました。
どこまで分かった？
98回の実行は1台のノートパソコン上のバイト単位の設定です。Transformerの位置埋め込みは全精度で、初期学習の学習率も調整されていないため、構造だけの効果としては断定できません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
三値の1.58ビット重みはマイクロコントローラ級の言語モデルに魅力的だが、100万パラメータ未満の領域についての根拠は、単一シードによる個別比較が中心だった。よく知られた一例では、畳み込み、対角状態空間モデル、疎な注意機構をトークンごとのルータで混ぜる三値ブロックが、パラメータ数を揃えた全精度Transformerを6万パラメータで22％上回り、帰納バイアスによる効果と解釈されていた。本研究は固定した一つの手順でこれを再実行し、各条件に3シードを用い、1台のノートパソコンでバイト単位の98回の学習を行った。 第一に、ベースラインの形状が結果を大きく左右した。1600万バイトの計算予算では、パラメータ数を揃えたTransformerの検証損失に、深さと幅の選択だけで22.6％の幅が生じた。これは同条件で測定したどのアーキテクチャ効果よりも大きい。最適な形状のTransformerはルータ付きモデルと同等で、既報の差には少なくとも一部、ベースライン形状の影響が含まれる。形状の優劣は予算が変わると逆転するため、一つの固定形状は信頼できない。第二に、1億3000万バイトでは、評価した3種類のTransformer形状に対してルータ付きモデルが22.2～24.0％勝った。ただし、単純なゲート付き対角状態空間モデルのブロックは、そこからさらに9.1％良く、ルータ付きモデル自身も重みの大半を再帰的な経路に割り当てていた。したがって改善にルーティングは必須ではない。 第三に、大きい予算での三値化による損失は構造によって異なり、最良のTransformerでは5.3％増、ルータ付きモデルでは19.5％増、ゲート付き状態空間モデルでは28.1％増だった。ただし、Transformerでは学習された位置埋め込みが全精度のままであり、全パラメータの11～22％を占めるため、この差を構造だけに帰することはできない。第四に、先に全精度で90％、後で三値で10％学習する手順は、最初から三値で学習する手順を上回ったが、それは後段の学習率を事前学習の最大値の約10倍にした場合だけだった。通常の微調整の学習率では15.3％悪く見え、結論が逆転する。初期から学習するベースラインについては学習率の調整をしておらず、第三、第四の結論にはこの制約がある。コードと実行ログを公開した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Ternary (1.58-bit) weights are attractive for microcontroller-class language models, but the sub-1M-parameter regime rests mainly on isolated, single-seed comparisons. One prominent example reports that a routed ternary block (convolution, diagonal SSM and sparse attention mixed by a per-token router) beats a parameter-matched full-precision transformer by 22% at 60K parameters, attributing this to inductive bias. We re-run it under one fixed recipe, three seeds per cell, 98 byte-level runs on one laptop. (i) Baseline shape dominates: at a 16M-byte budget, param-matched transformers span 22.6% in validation loss purely by depth/width choice - far more than any architecture effect we measure there - and the best-shaped transformer ties the routed model, so the published margin is at least partly a baseline-shape effect; the ordering of shapes reverses with budget, so no single fixed shape can be trusted. (ii) At 130M bytes the routed model does win, by 22.2-24.0% over the three transformer shapes we evaluate there - but a plain gated diagonal-SSM block beats it by a further 9.1%, and the routed model's own router puts most of its weight on its recurrent pathway, so the gain does not require routing. (iii) The ternary penalty differs by architecture at the larger budget (+5.3% best transformer vs. +19.5% routed, +28.1% gated SSM), but we cannot attribute that to architecture alone: our transformers keep learned positional embeddings in full precision, 11-22% of their parameters, so they are less quantized than the models they are compared with. (iv) A 90/10 full-precision-then-ternary schedule beats all-ternary training, but only at a stage-2 learning rate about 10x the pretraining peak; at a conventional fine-tuning rate it looks 15.3% worse, reversing the conclusion. The from-scratch baseline was not itself learning-rate tuned, which bounds (iii) and (iv). Code and run logs released.
著者のコメント
11 pages, 1 figure. Code and run logs: https://github.com/veldanda/ByteLM (tag p1-v1). Zenodo: https://doi.org/10.5281/zenodo.22937824
arXiv ID: 2609.29397 ／ 要約の誤りについて