大規模言語モデルが出力文字体系を決める層
Script Choice in LLMs: Evidence for Late-Layer Commitment
この論文をやさしく読む
ひとことで言うと
LLMが入力や指示の文字体系を早い層で認識し、実際の出力文字体系を最後の層で決めることを調べた。
何に役立つ？
多言語モデルで文字体系の指示に従えない原因を分析し、モデル設計を考える際の手がかりになる。
この研究の面白いところ
二つの解析手法で層ごとの違いを調べ、中間層ではラテン文字に偏るという非対称性を見いだした。
どこまで分かった？
要旨は層ごとの解析と小さいモデルの性能傾向を報告するが、全ての言語やモデルで同じ挙動になるとは示していない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
本論文は、大規模言語モデル（LLM）の各層に文字体系についての知識がどのように分布するかを、ロジスティック回帰によるプロービングとlogit lens解析という二つの解釈手法で調べる。プロービング実験では明確な非対称性が見られた。入力の文字体系と、指示された出力の文字体系はネットワークの最初期の層に符号化されている。一方、実際に使う出力文字体系への決定は最終層で初めて現れ、中間表現は大半の層でラテン文字を既定としている。この二段階の過程はlogit lens解析でも確認され、文字体系の決定がLLMの最後の層で一貫して起こることが示された。小さいモデルでは文字体系の指示に従う性能が弱いことも合わせ、これらの結果は文字体系への決定とモデルの深さの関連を支持する。これは十分な深さを持ち、多様な言語を扱えるアーキテクチャの設計にも関わる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
In this paper, we investigate how script knowledge is distributed across the layers of LLMs using two complementary interpretability methods: logistic regression probing and logit-lens analysis. Our probing experiments reveal a clear asymmetry: both the input script and the instructed output script are encoded in the earliest layers of the network, while, in contrast, commitment to the actual output script emerges only in the final layers, with the model's intermediate representations defaulting to Latin throughout most of the layers. This two-stage process is confirmed by logit-lens analyses, which show that script commitment consistently occurs at the very last layers of the LLMs. Together with the weaker script-following performance observed in smaller models, these results form a converging body of evidence linking script commitment to model depth, with broader implications for the design of sufficiently deep, inclusive multilingual architectures.
arXiv ID: 2609.28784 ／ 要約の誤りについて