関係性への注意機構で少量データから言語を学ぶ
Relational Attention for Data-Efficient Language Modeling
この論文をやさしく読む
ひとことで言うと
単語そのものの情報と単語間の関係を分けて扱い、少ない学習文で言語モデルを育てる方法を調べます。
何に役立つ？
大量の文章に頼らない言語学習モデルの設計に役立ちます。BabyLMの制限された学習量と共通評価を使います。
この研究の面白いところ
二種類の注意機構と、次の潜在状態を予測する学習目的を組み合わせます。構造的な言語汎化には、目的関数の変更よりモデル構造の影響が大きかったと報告します。
どこまで分かった？
1億語トラックの総合6位・NLP部分3位は執筆時点の55件中の順位です。関係注意の方式間の差は1000万語と1億語で異なります。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
BabyLM 2026チャレンジへの提出システムであるRelational BabyLMを紹介する。これは、認知的な着想に基づく2つの帰納バイアスを、単一のデコーダー専用Transformerに組み合わせるものである。構造面では、通常の自己注意をDual Attention Transformer（DAT）に置き換え、対象レベルの「感覚的」な語彙特徴の伝達と、構造・関係に関する情報の伝達を分離する（Altabaa and Lafferty, 2025; Altabaa et al., 2024; Webb et al., 2024; Kerg et al., 2022; Webb et al., 2021）。 自己注意から分離された関係注意（RA）は、純粋に関係性を扱う課題でデータ効率と学習標本外への汎化を大幅に高める。しかし言語モデルでは、対象レベルの情報と関係情報を分離するだけでなく統合する必要もあり、RAに基づく言語モデルはこれまでほとんど調べられていなかった。学習データ量を制限し、幅広く評価するBabyLMは、このデータ効率が言語にも引き継がれるかを検証するのに適している。学習方法としては、Next-Latent Prediction（NextLat; Teoh et al. 2026）の目的関数を追加し、隠れ状態が履歴を密な信念状態へ逐次圧縮するよう促す。 言語構造に関する汎化を主に左右するのはアーキテクチャであり、目的関数の影響は二次的だが、それでも有意である。DATの3種類の関係注意、すなわち完全なRAと、より単純なRCAおよびDisRCAは、1,000万語ではおおむね同等に使えるが、1億語では完全なRAが優位となる。さらに、学習される相対シンボルの代わりにRoPEに基づく相対シンボルを使う、新しいシンボル検索機構を導入する。これはパラメータを追加せずに、学習型シンボルライブラリーと同等の性能を示す。 執筆時点で、strict部門（1億語）の最良モデルは55件中総合6位、ランキングのNLP課題部分では55件中3位だった。上位2モデルはいずれも大半のベンチマークでGPT-2基準モデルを上回り、そのうち1つはstrict部門の参加モデル中で最高のEWoKスコアを達成した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We present Relational BabyLM, a system submission to the BabyLM 2026 challenge that combines two cognitively motivated inductive biases in a single decoder-only Transformer. Architecturally, we replace standard self-attention with a Dual Attention Transformer (DAT), which separates the routing of object-level ("sensory") lexical features from structural/relational information (Altabaa and Lafferty, 2025; Altabaa et al., 2024; Webb et al., 2024; Kerg et al., 2022; Webb et al., 2021). Relational attention (RA) disentangled from self-attention greatly increases data efficiency and out-of-training-sample generalization on purely relational tasks, but language modeling requires object-level and relational information to be integrated as well as disentangled, and RA-based LMs have remained largely unexplored. BabyLM's data-constrained training and comprehensive evaluation is an ideal testing ground for whether that data efficiency transfers. As a training intervention, we add a Next-Latent Prediction (NextLat; Teoh et al. 2026) objective that encourages hidden states to compress history incrementally into a dense belief state. Architecture is the dominant factor for structural linguistic generalization; the objective is secondary but still significant. DAT's three relational attention types (full RA vs. the simpler RCA and DisRCA variants) are largely interchangeable at 10M words; full RA pulls ahead at 100M. We also introduce a novel symbol-retrieval mechanism (RoPE-based, as opposed to learned, relative symbols) that matches learned symbol libraries while adding no parameters. On the strict (100M-word) track, our best model ranks 6th of 55 overall and 3rd of 55 on the leaderboard's NLP-task subset at the time of writing; our two strongest models outperform the GPT-2 baseline on most benchmarks, with one attaining the highest EWoK score among strict-track entries.
著者のコメント
BabyLM Workshop, EMNLP 2026. Source code: https://github.com/abrsvn/babylm_dat_2026
arXiv ID: 2609.20530 ／ 要約の誤りについて