数学の規則順序を変えたときの答えと内部表現
Order-Invariant Answers, Order-Sensitive Representations in Mathematical Reasoning
この論文をやさしく読む
ひとことで言うと
規則の順序を変えても答えは同じ問題で、正確なモデルほど内部では順序の違いを強く表していた。
何に役立つ？
考えられる用途は、言語モデルの数学的推論を正解率以外から評価することである。要旨では人工的な関数合成問題を使った。
この研究の面白いところ
正答の不変性と内部表現の不変性を分け、16モデルで置換SNRと正解率の正の相関を示した。
どこまで分かった？
結果は人工的な問題設定での相関である。内部表現の違いが正解率を高める原因だとは要旨で証明していない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
数学的な規則の集合は、意味を変えずに並べ替えても正しい答えが同じであるべきだが、モデルの内部表現まで同じである必要があるだろうか。本研究は、複数段階の関数合成を行う人工的な問題を用い、正答は同じで規則の順序だけが違う複数の提示方法でこの問いを調べる。正解率と、問題間の変動に対して順序の違いが内部表現でどれほど明確に表れるかを数量化する、置換の信号対雑音比（SNR）を測る。 パラメータ数が10億から80億の16種類の言語モデルでは、並べ替えた問題をより正確に解くモデルほど、異なる規則順序を内部で明瞭に区別して表す傾向が見つかった。層を平均した置換SNRと正解率の順位相関は、評価したすべての人工的な設定で正であり、Spearmanの相関係数は最大0.86に達した。これらは、答えが順序に依存しないことと、内部表現が順序に依存しないことは別であり、数学的規則の合成に成功しても、等価な規則順序の内部表現は異なり得ると示す。正解率だけでなく、表現から数学的推論を調べる視点を与える。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Reordering a set of mathematical rules without changing its meaning should preserve the correct answer, but must a model's internal representations stay invariant too? We investigate this question using synthetic multi-step function-composition problems, each presented under multiple rule orderings with the same correct answer. We measure accuracy and permutation signal-to-noise ratio (SNR), which quantifies how distinctly ordering patterns are represented relative to variation across problem instances. Across 16 language models ranging from 1B to 8B parameters, we find a pattern: models that solve reordered problems more accurately represent different rule orderings more distinctly. Layer-averaged permutation SNR is positively rank-correlated with accuracy in every synthetic setting we evaluate, with Spearman correlations reaching 0.86. These findings highlight a distinction between answer invariance and representation invariance: successful mathematical rule composition can accompany distinct internal representations between equivalent rule orderings. This motivates distinguishing answer invariance from representation invariance, and offers a representational perspective on mathematical reasoning beyond answer accuracy alone.
arXiv ID: 2609.28442 ／ 要約の誤りについて