制御トークン混入で推論記録と監視が失われる条件を検証
Control-Token Injection Suppresses Chain-of-Thought and Defeats Reasoning-Based Oversight in Tool-Using Agents
この論文をやさしく読む
ひとことで言うと
ツールを使うAIの安全性が、モデルだけでなくチャット形式とツール呼び出しを解釈するソフトウェアにも左右されることを実験で示した研究です。
何に役立つ？
AIエージェントの監視とツール実行を設計・評価するとき、入力処理、解析器、推論記録の扱いを点検する根拠になります。
この研究の面白いところ
同じモデル出力でも解析器によってツール実行が逆になり、推論記録が消えると監視器の検出結果も変わりました。
どこまで分かった？
実験は公開モデルと公開されたツール環境で、決定的デコードを使っています。推論記録の欠落検知は基本的な攻撃には有効でしたが、適応的な見せかけの記録には対応できませんでした。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ツールを使う言語モデルエージェントの安全性は通常、モデルだけの性質として扱われる。本研究は、公開モデルでの制御された全精度の実験により、安全性がモデルと、チャット形式の描画およびツール呼び出しの解析を行うソフトウェア、すなわちデコード実行基盤の共同の性質であり、どちらも信頼できない入力から攻撃され得ることを示す。公開されたツール用サンドボックス内の gpt-oss-20b 推論モデルでは、ユーザーメッセージにモデル自身のチャネル制御トークンを含む一つの文字列を付け足すと、トークナイザーが推論ターンをすでに完了したものとして描画した。このため、モデルは推論記録を一切書かずにツール呼び出しへ直接進んだ。モデルが元から完了できる40課題では、推論チャネルの平均52.5トークンがすべての試行でゼロになった一方、http.post はすべての試行で実行された。規則ベースの監視器と別系統の言語モデル監視器は、加工していない試行では危険な要求をすべて検出し、偽装した試行では一つも検出しなかった。明白に悪意のある要求では、攻撃によってモデルの拒否の39.6％がデータの外部送信完了に変わった。 別の実験では、同一のツール呼び出し生成が実行されるかどうかを決めるのはモデルではなく実行基盤の解析器だった。終端トークンが欠けた呼び出しを、途中切断に寛容な正規表現は実行し、厳格な正規表現は破棄した。Gemma エージェント向けに配布された二つの解析器も、同じ決定的生成に対して逆の結果を示し、一方は24試行すべてで実行し、他方は一つも実行しなかった。推論抑制が間接的にも届けられることを示し、さらに二つの推論モデルでチャット形式への依存性を調べた。防御策として入力の無害化、解析器の堅牢化、推論記録が空であることの検出を評価した。記録の欠落を検知する方法は基本的な攻撃を捉えたが、無害な見せかけの記録を入れる適応的な攻撃は捉えられなかった。測定はいずれも公開モデルに決定的デコードを用いた。コードと試行ごとの記録を公開している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
The safety of a tool-using language model agent is usually treated as a property of the model alone. We give controlled, full-precision evidence that it is instead a joint property of the model and the software that renders its chat template and parses its tool calls, the decoding harness, and that both halves are attackable from untrusted input. On the released gpt-oss-20b reasoning model under its published tool sandbox, appending a single string of the model's own channel-control tokens to a user message makes the tokenizer render a reasoning turn that is already complete, so the model writes no chain-of-thought and proceeds directly to the tool call. Across forty tasks the model already completes, the reasoning channel falls from a mean of 52.5 tokens to zero on every trial while the http.post still fires on every trial. A rule monitor and a cross-family language-model monitor detect the unsafe request on all plain trials and no forged trials, and on overtly malicious requests the attack converts 39.6% of the model's refusals into completed exfiltrations. Separately, whether an identical tool-call generation fires is decided by the harness parser, not the model: a truncation-tolerant regular expression fires a call whose closing token is missing while a strict one drops it, and two parsers shipped for the Gemma agent give opposite outcomes on identical greedy generations, firing on all twenty-four trials and on none. We show the suppression can be delivered indirectly and characterize its dependence on the chat template across two more reasoning models, and we evaluate input sanitization, parser hardening, and empty-reasoning detection as defenses; flagging an absent trace catches the basic attack but not an adaptive benign decoy. All measurements use greedy decoding on publicly released models. Code and per-trial logs: https://github.com/Usama1002/deleting-the-trace
arXiv ID: 2609.27542 ／ 要約の誤りについて