言語モデルの層・トークン生成・ツール実行を制御理論で整理
On the Multi-Index, Multi-Rate, and Multi-Phase Dynamics of Decoder-Only Language Models: A Unified Hybrid Framework for Generative and Agentic Systems
この論文をやさしく読む
ひとことで言うと
言語モデルの動作を、層を進む計算、トークンを出す計算、外部ツールを使う動作に分け、同じ制御理論の枠組みで記述する研究です。
何に役立つ?
エージェントの動作や誤差を数学的に議論する際、どの時間・進行単位を扱っているのかを明確にするために役立ちます。ツールの結果を取り込む動作も状態の変化として整理できます。
この研究の面白いところ
KVキャッシュを単なる実装上の高速化として扱わず、因果的な接頭辞不変性に基づく正確な内部状態表現として位置付けています。連続した生成と、ツール実行による状態の飛びを区別する点も特徴です。
どこまで分かった?
タスク誤差の限界には、故障ハザードと誤差ドリフトの仮定が必要です。要旨は形式化と理論的評価を述べており、実際のエージェントで安全性や誤り削減を実証したとは記載していません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル(LLM)は、自律的な意思決定や計画のループの中で計算を担うものとして、ますます利用されている。しかし、システム理論や制御理論での扱いは、構造の単純化、進行を表す添字の混同、ツールとのやり取りに関する非形式的な説明に妨げられている。本論文は、デコーダ専用言語モデルを、複数の添字と複数の進行速度を持つシステムとして制御理論的に定式化し、エージェントによるツール操作の複数局面にわたる動的挙動を扱う、確率的ハイブリッドシステムの枠組みの基礎を整える。 構造を、階層的に結合した3つの進行添字にわたって形式化する。(i)層の深さに沿ってTransformerブロックを通過する、超高速なフィードフォワードの連鎖である。ここでは層正規化を球面への射影として表し、因果的な接頭辞不変性を通じて、キーバリューキャッシュが厳密な内部状態実現であることを証明する。(ii)トークン生成段階に沿った、制御入力のない確率的差分再帰である。有限のコンテキストへの切り詰めにより、時間一様なMarkov連鎖が生じる。(iii)トークン生成とツール実行の状態の間の遷移を支配する、自律的なモード切り替え機構である。軌道が切り替え多様体へ到達するとツール呼び出しが起動し、その後、外生的な状態ジャンプ写像が、外部観測をコンテキスト文字列に追加する。 続けて現れる評価可能な主張に対し、プロンプトに依存する評価器を定義することで、タスク水準の誤差過程を得る。この過程における故障のない履歴と期待誤差の増大について、条件付きの故障ハザードと誤差ドリフトに関する仮定の下で、限界を与えられる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01(UTC)
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Large language models (LLMs) are increasingly deployed as computational engines in autonomous decision-making and planning loops, yet their systems and control treatment remains hindered by architectural simplifications, index conflations, and informal descriptions of tool interactions. This paper presents a control-theoretic formulation of decoder-only language models as multi-index, multi-rate systems, and sets the stage for a stochastic hybrid systems framework to govern the multi-phase dynamics of agentic tool interaction. We formalize the architecture across three hierarchically coupled evolution indices: (i) an ultrafast feedforward cascade of transformer blocks across layer depth, where layer normalization is cast as a spherical projection and key--value caching is proven to be an exact internal state realization via causal prefix invariance; (ii) an uncontrolled stochastic difference recursion over token generation steps, where finite context truncation induces a time-homogeneous Markov chain; and (iii) an autonomous mode-switching mechanism governing transitions between token generation and tool execution regimes, where tool invocations are triggered upon trajectory arrival at switching manifolds, followed by exogenous state jump maps that augment the context string with external observations. By defining a prompt-dependent evaluator over successive evaluable claims, we obtain a task-level error process whose fault-free histories and expected error growth admit bounds under conditional fault-hazard and error-drift assumptions.
arXiv ID: 2610.01478 / 要約の誤りについて