言語モデルで入力方向を弱めるニューロンの働きを調べる
Weakening Neurons: An Input-Output Functionality in Transformers with Outsize Influence
この論文をやさしく読む
ひとことで言うと
言語モデルの内部で、見つけた特徴を増幅するのではなく弱めるニューロンに注目し、その配置と影響を調べています。
何に役立つ？
モデル内部のどのニューロンが出力に影響するかを調べる、比較的単純な解析の手掛かりになります。
この研究の面白いところ
入力と出力の重みの向きだけで候補を見つけ、少数でも頻繁に働くことや、負のゲート値で強い影響があることを報告しています。
どこまで分かった？
9つのLLMでの傾向です。要旨には各モデルの名称、影響の具体的な数値、介入評価の手順はなく、すべてのニューロンや構造で同じ傾向が成立するとは限りません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル（LLM）におけるGLUに基づくニューロンの、学習された入出力挙動を分析する。各ニューロンについて、入力側の読み取り重みベクトルと出力側の書き込み重みベクトルのコサイン類似度を計算する、簡単な分析法を提案する。この方法では、強い負のコサイン類似度は、そのニューロンが残差ストリームで検出した方向を弱めることを示すため、これを弱化ニューロンと呼ぶ。 これにより、いくつもの新しい知見が得られる。第1に、異なる9つのLLMに類似した傾向があることを示す。弱化ニューロンは主に後段の層に現れる一方、それに対応する、条件付きで強めるニューロンは初期から中間の層によく見られる。第2に、弱化ニューロンは意外な挙動を示す。数は少ないにもかかわらず頻繁に活性化し、モデルの挙動に大きな影響を与える。第3に、ゲートの値が負のときに、弱化ニューロンはモデル出力へ強い影響を及ぼす。負のゲート値が機能を担うとは想定されていないため、これは意外な結果である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-16 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-16 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We analyze the learned input-output behavior of GLU-based neurons in large language models (LLMs). We propose a simple analysis method: For each neuron, we compute the cosine similarities between its input (reading) and output (writing) weight vectors. In this scheme, a strong negative cosine similarity indicates the neuron weakens the direction it detects in the residual stream, so we call this a weakening neuron. This allows us to gain a number of novel insights. First, we show that nine different LLMs have similar patterns: weakening neurons appear mostly in late layers whereas their counterparts, (conditional) strengthening neurons, are frequent in early-middle layers. Second, we find that weakening neurons display surprising behavior: even though there are few, they activate often and have a large influence on model behavior. Third, weakening neurons have a strong effect on model output when gate values are negative -- which is surprising since negative gate values are not expected to encode functionality.
著者のコメント
Accepted to EMNLP 2026. Supersedes arXiv:2505.17936
arXiv ID: 2609.18612 ／ 要約の誤りについて