トークナイザーの性能は目的関数か探索方法か
Objective vs. Search: Decomposing What Makes a Good Tokeniser
この論文をやさしく読む
ひとことで言うと
文章を細かな単位に分ける方法の良し悪しを、目指す指標と探索の進め方に分けて比較した研究です。
何に役立つ？
言語モデル用のトークナイザーを設計・比較するとき、目的関数だけでなく探索手順を独立に評価するための指針になります。
この研究の面白いところ
従来の2手法に欠けていた組み合わせを新しく作り、4通りで比較しています。これにより性能差の原因を切り分けています。
どこまで分かった？
ボトムアップの優位は主に1バイト当たりのビット数で示されています。BLiMPでは一貫した関係がなく、あらゆる能力や評価課題で優れるという結論ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
現代の言語モデルでは、バイトペア符号化（BPE）とUnigramLMという2つの主要なトークン化アルゴリズムが使われている。両者は、最適化の目的（圧縮か対数尤度か）と探索手順（ボトムアップの併合かトップダウンの枝刈りか）という、互いに独立した2軸で異なる。既存の比較はこの2軸を混同しており、観測された違いが、何を最適化するかに由来するのか、どう最適化するかに由来するのかが不明確だった。 本研究では、この2×2の設計空間を埋める2つの新しいトークン化アルゴリズムを導入し、両者を分離する。尤度に基づくボトムアップ型のBottomUpLLと、圧縮に基づくトップダウン型のTopDownCompである。各アルゴリズムから得られるトークナイザーで、モデル規模、語彙サイズ、領域（英語のみか多言語か）を変えて言語モデルを訓練する。 1バイト当たりのビット数で評価すると、支配的なのは目的関数ではなく探索手順であり、ほとんどの設定でボトムアップ型のトークナイザーが一貫して低い値を達成する。一方、BLiMP課題で評価すると、設計上の選択と性能の間に一貫した関係は見られない。全体として、本結果はトークナイザーの設計選択が言語モデリング性能に与える影響を切り分け、より原理に基づいた構築のための具体的な指針を与える。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-16 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-16 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Two dominant tokenisation algorithms are used by modern language models: byte-pair encoding (BPE) and UnigramLM. These differ along two orthogonal axes: their optimisation objective (compression vs. log-likelihood) and their search procedure (bottom-up merging vs. top-down pruning). Existing comparisons confound these axes, making it unclear whether their observed differences stem from what is being optimised vs. how it is being optimised. We disentangle the two by introducing two new tokenisation algorithms that complete this 2x2 design space: BottomUpLL, a bottom-up likelihood-based tokeniser, and TopDownComp, a top-down compression-based tokeniser. We train language models with tokenisers produced by each algorithm, varying: model size, vocabulary sizes, and domain (English-only vs. multilingual). Evaluating models on bits-per-byte, we find that the search procedure -- not the objective -- is the dominant factor: bottom-up tokenisers consistently achieve lower bits-per-byte in most settings. Evaluating models on the BLiMP task, however, shows no consistent relationship between design choice and performance. Overall, our results disentangle the effect of tokeniser design choices on language modelling performance, offering concrete guidance for their more principled construction.
著者のコメント
Accepted at EMNLP 2026. 20 pages, 4 figures, 10 tables. Code: https://github.com/Ahmetcanyvz/comp-vs-like
arXiv ID: 2609.19145 ／ 要約の誤りについて