中国語とベトナム語の音節を三要素に分けて学習
Beyond Atomic Tokens: Factorizing Syllables for Language Model Pretraining
この論文をやさしく読む
ひとことで言うと
一つの音節を丸ごと覚える代わりに、発音の始まり、韻、声調の組み合わせで表現する言語モデルです。三つに分けても入力系列上では一つの位置にまとめます。
何に役立つ？
中国語やベトナム語のテキスト表現で、語彙の小ささと音韻情報の共有を両立する設計の評価に役立ちます。言語理解課題で既存の表現方式と比較されています。
この研究の面白いところ
部品数を減らすために系列を長くするのではなく、音節の長さを保って部品を共有します。語彙を学習用コーパスから統計的に作らない点も特徴です。
どこまで分かった？
中国語の比較は統制した事前学習設定、ベトナム語の結果は対応する評価課題に基づきます。語彙112・256はモデル全体のパラメータ数ではありません。未対応の単位には文字単位の処理が必要です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
従来のトークナイザーは、文字または統計的に得たサブワードでテキストを表現し、音節内部の音韻構造を見落とすため、大きな語彙を必要とすることが多い。本研究では、中国語とベトナム語の各音節を国際音声記号（IPA）へ変換し、頭子音、韻、声調という三つの音韻成分に分解する、言語学に基づくPhonemic Tokenizerを導入する。三成分は共同で文脈上の一つの位置を占めるため、音節単位の系列長を保ちつつ、音韻的に関連した音節間で表現を共有できる。音韻的でない単位と未対応の単位には、文字単位の代替処理を用いる。この決定的な設計は、コーパスに依存する語彙学習を必要とせず、中国語でわずか112項目、ベトナム語で256項目の語彙となる。 内在的評価では、両言語でRényi効率が大幅に高く、標準的なベトナム語音節辞書の全項目を、Fertilityが厳密に1となる形で表現でき、既存の事前学習済みトークナイザーよりもベトナム語の系列が概して短くなることを示す。さらに、分解した成分の埋め込みを組み合わせ、三つの予測ヘッドでマスクした音節全体を再構成するPhonemicBERTとして、このトークナイザーを実装する。条件を統制した中国語の事前学習設定において、PhonemicBERT-Zhは多様な言語理解課題で文字、サブワード、SubCharの代替方式と同等以上の性能を示す。PhonemicBERT-Viも、確立されたベトナム語および多言語の事前学習済みモデルに対して同等以上の結果を得る。これらの結果は、音素的分解が、不可分な単位や統計的分割によるテキスト表現に代わる、コンパクトで効率的かつ解釈可能な方法であることを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Conventional tokenizers represent text as characters or statistically derived subwords, overlooking the internal phonological structure of syllables and often requiring large vocabularies. We introduce \textbf{Phonemic Tokenizer}, a linguistically motivated tokenizer for Vietnamese and Chinese that converts each syllable into IPA and factorizes it into three phonological components: onset, rime, and tone. The three components jointly occupy one contextual position, preserving syllable-level sequence length while enabling representation sharing across phonologically related syllables. Non-phonological and unsupported units are handled through character-level fallback. This deterministic design requires no corpus-dependent vocabulary learning and yields vocabularies of only 112 entries for Chinese and 256 for Vietnamese. Intrinsic evaluation shows that the tokenizer achieves substantially higher Rényi efficiency in both languages, represents every entry in a standard Vietnamese syllable dictionary with a Fertility of exactly one, and generally produces shorter Vietnamese sequences than existing pretrained tokenizers. We further instantiate the tokenizer in \textbf{PhonemicBERT}, which combines factorized component embeddings and reconstructs complete masked syllables using three prediction heads. Under a controlled Chinese pretraining setup, PhonemicBERT-Zh is competitive with or outperforms character, subword, and SubChar alternatives across diverse language-understanding tasks. PhonemicBERT-Vi also achieves competitive or superior results to established Vietnamese and multilingual pretrained models. These results establish phonemic factorization as a compact, efficient, and interpretable alternative to atomic and statistically segmented text representations.
著者のコメント
under review
arXiv ID: 2609.21362 ／ 要約の誤りについて