arXiv論文メモ
新着一覧
cs.LG · 査読状況未確認

AI間で共通する表現をサンプル間の差分から調べる

Displacement Geometry Captures Platonic Shared Reality Across Models and Modalities

Chenming Shang, Yujin Tang, Jun Jie Ou Yang, Ruize Xu, Adam Breuer, and Nikhil Singh

この論文をやさしく読む

ひとことで言うと

異なるAIの内部表現を、各データの位置ではなくデータ同士の差分で比較します。その差分に共通構造があるという説明から、モデル間で能力を移す方法も提案しています。

何に役立つ?

モデル同士で何が共通で何が固有かを調べる手掛かりになります。考えられる用途として、転送元の計算結果をキャッシュで配布し、転送先の微調整を減らす方法を示しています。

この研究の面白いところ

共通表現を支持する結果と、点ごとの類似性が弱いという結果を、共有の意味成分と固有の能力成分への分解で説明します。さらに微調整と関係蒸留について異なる予測を立て、実験で確かめています。

どこまで分かった?

表現比較は44のエンコーダ、能力転送の実証はSHADOWCLIPという実装についての報告です。要旨には性能値や計算量比の具体値はありません。キャッシュによる広範な能力移転の可能性と、個別実装で得た実証結果は区別する必要があります。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

プラトン的表現仮説(PRH)は、独立に学習したモデルが、現実に関する共通の統計モデルへ収束すると主張する。しかし最近の研究では、モデル間の点ごとの類似性は弱いとされている。本論文では、モデルが共有するのは表現空間内のサンプルの位置ではなく、サンプル間の方向、すなわち変位ベクトルであることを示す。回転と鏡映だけからなる単一の直交整合の下で、これらの変位ベクトルは、モダリティの違いや能力が非対称な組み合わせにまたがる、独立に学習した44の視覚・言語エンコーダ間で大幅に保存される。これはPRHを支持する証拠と整合する。一方、サンプルの絶対位置は保存されず、近年の反証的な知見とも整合する。 両者は一つの分解から生じる。表現は、モデル間で線形に整合する共有の意味成分と、整合しない固有の能力成分に分かれる。この幾何学を概念レベルの構造へたどると、モデル内では親概念が子概念の変動ベクトルと直交し、モデル間では概念の変位が平行になる。本研究の理論は、微調整は点ごとの類似性を保つが変位の構造を崩し、関係蒸留はその逆になると、反証可能な形で予測する。実験はこの予測を確認した。 重要な帰結として、意味は線形に整合するが能力は整合しないため、転送元モデルを一度順伝播させてキャッシュした情報を使って、一方のモデルの能力を他方へ取り込める。これをShadow Castingと呼ぶ。概念実証として実装したSHADOWCLIPは、有力な微調整済みの比較手法を、桁違いに少ない計算量で上回る。キャッシュを公開モデルの重みとともに配布すれば、一つのモデルの能力をダウンロードし、微調整せずに任意の数の別モデルへ取り込める。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-21(UTC)
最新改訂
2026-09-21 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

The Platonic Representation Hypothesis (PRH) claims that independently trained models converge on a shared statistical model of reality, yet recent work finds only weak pointwise similarity between models. In this paper, we show that what models share is not the location of samples in representation space, but the directions (displacement vectors) between them. Under a single orthogonal alignment--rotation and reflection only--these displacement vectors are substantially preserved across 44 independently trained vision and language encoders spanning modalities and asymmetric capability pairs, consistent with the PRH evidence. The samples' absolute positions are not, consistent with recent counter-evidence. Both arise from a single decomposition: representations split into a shared semantic component that is linearly aligned across models, and a private capability component that is not. We trace this geometry to concept-level structure: within a model, parent concepts are orthogonal to their child variation vectors; across models, concept displacements are parallel. Our theory falsifiably predicts (and experiments confirm) that fine-tuning preserves pointwise similarity but collapses displacement, and that relational distillation does the opposite. A major implication is that, because semantics align linearly but capabilities do not, capabilities can be imported from one model to another using a single cached forward pass through the source. We call this Shadow Casting. As a proof of concept, our SHADOWCLIP instantiation outperforms strong fine-tuned baselines at orders of magnitude less compute. A cache can be released alongside open model weights, letting one model's capabilities be downloaded and imported into any number of other models without fine-tuning.

arXiv ID: 2609.24209 / 要約の誤りについて