作業記憶を制限した言語モデルの語順学習を調べる
Typological Alignment of Stack-Based Language Models on Mildly Context-Sensitive Artificial Languages
この論文をやさしく読む
ひとことで言うと
人工言語を使い、スタック型の言語モデルが複雑な依存関係をどう学ぶか、記憶の制限が汎化にどう影響するかを調べています。
何に役立つ？
人間の言語で特定の語順が多く見られる理由を、学習バイアスの観点から検討する計算モデルになります。
この研究の面白いところ
記憶を増やせば必ずよく学べるわけではなく、制限した方が未見の例へよく汎化する結果を報告しています。
どこまで分かった？
人工言語と計算モデルによる評価です。人間の言語分布の原因を直接証明するものではなく、要旨にも可能な説明として位置付けられています。具体的な性能値は示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
主語・目的語・動詞（SOV）の語順など、言語のある性質は、確認されている数千の自然言語の中で他の性質より広く見られる。このような類型論的な共通性は、学習の偏りに起因すると説明されることが多い。計算機シミュレーション、近年では言語モデル（LM）を使ったものが、この理論の検討を可能にしてきた。 本論文では、LMの学習バイアスと類型論的共通性の関係に関する既存の解析を、データとモデルの両面で拡張する。特に、（i）確認されている統語的複雑さの上限に当たる交差系列依存と、（ii）階層的パターンの学習を助け得るスタック型言語モデル（SLM）に注目する。まず、多様な人工言語の交差系列依存についてSLMの汎化を評価し、これらの構造の学習が難しいことを確認する。しかし、作業記憶を制限したSLMの方がよく汎化する。このことは、そのような帰納バイアスの基盤となり、ひいては一部の語順構成が類型論的に広く見られる理由となる可能性を示唆する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01（UTC）
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Some properties of languages, e.g., subject-object-verb (SOV) word order, are more prevalent than others among the thousands of attested natural languages (NLs). Such typological commonality is often attributed to learning biases. Computational simulations, recently with language models (LMs), have facilitated the exploration of this theory. In this paper, we extend existing analyses of the relationship between LMs' learning biases and typological commonality on both data and model sides, focusing on: (i) cross-serial dependencies, the upper limit of attested syntactic complexity, and (ii) stack-based LMs (SLMs), potentially facilitating learning of hierarchical patterns. We first evaluate generalization of SLMs on cross-serial dependencies across diverse artificial languages and confirm that they struggle with such constructions. However, SLMs with limited working memory generalize better suggesting a possible basis for such inductive bias and thus the typological commonality of some word order configurations.
著者のコメント
EMNLP 2026 Main Conference
arXiv ID: 2610.02040 ／ 要約の誤りについて