arXiv論文メモ
新着一覧
cs.CR / cs.AI · 査読状況未確認

推論型言語モデルの出力冒頭を操作する攻撃の評価

Prefilling the Reasoning Channel: Output-Prefix Attacks on Reasoning LLMs

Lukáš Brůna, Robert Bridges, Adam Ek

この論文をやさしく読む

ひとことで言うと

推論欄と応答冒頭への注入を組み合わせると、言語モデルの安全制限を破りやすくなるかを比較した研究です。

何に役立つ?

推論型モデルのAPIや応答生成経路を監査する際、出力冒頭を第三者が操作できる条件を評価する手掛かりになります。

この研究の面白いところ

推論欄だけの注入はほぼ効かない一方、出力接頭辞と組み合わせると一部モデルで成功率が最大99%になりました。

どこまで分かった?

結果はAdvBenchの1,800事例と挙げられた3モデルに基づき、モデルによって影響が異なります。すべてのモデルに同じ成功率が当てはまるわけではありません。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

大規模言語モデルはひと続きのテキスト列を読み書きするため、応答の冒頭にテキストを付け足せると、後に続くトークンはその出力接頭辞を条件に生成される。この出力接頭辞攻撃は、低コストのブラックボックス型プロンプト注入である。先行研究は推論過程を持たないモデルに対してこの攻撃が安定して安全制限を破れることを示している。多くの推論型モデルには最終応答の前に中間的な推論欄があり、一部のAPIや攻撃経路ではその欄を編集できる。著者らは、この推論欄を出力接頭辞攻撃の経路として切り分けた初めての体系的な統制実験を行い、推論だけへの注入、出力接頭辞だけへの注入、両者の併用を、推論欄が公開されるモデルと隠されるモデルで比較したと述べる。 接頭辞3種類と推論注入の有無2条件の要因計画を使い、AdvBenchから選んだ1,800事例で、2026年頃の先端モデル3種、Gemini 3 Flash Preview、DeepSeek V4 Flash、Claude Haiku 4.5を攻撃した。悪意のある推論を単独で注入しても攻撃成功率はほぼ0%だったが、同じ推論に単純な出力接頭辞を併用すると、一部のモデルで最大99%に上がった。この種類の攻撃では、固定した接頭辞より文脈に合わせた接頭辞の方が有効で、影響を受けやすさはモデルに依存した。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-24(UTC)
最新改訂
2026-09-24 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Large Language Models (LLMs) consume and produce a single sequence of text; hence, if text can be added to the beginning of the LLM's response, i.e., an output prefix, then all subsequent tokens will be conditioned on it. This output-prefix attack technique is a cheap black-box prompt injection. Prior work has shown this type of attack can reliably jailbreak non-reasoning models. Most reasoning models add an intermediate scratchpad reasoning step before the assistant's final response. The ability to edit this reasoning channel is exposed by some APIs and attack vectors can be leveraged for reasoning injection attacks. We present the first systematic, controlled study that isolates the scratchpad reasoning channel as an output-prefix attack vector, and the first to compare reasoning-only, output-prefix-only and reasoning-plus-output-prefix attacks across both exposed- and hidden-reasoning models. Using a factorial design of 3 prefix types $\times$ 2 reasoning injections over $1{,}800$ test cases drawn from AdvBench, we attack three 2026-era frontier models Gemini 3 Flash Preview, DeepSeek V4 Flash, and Claude Haiku 4.5. We find that injecting malicious reasoning alone is essentially inert ($\approx0\%$ attack success), but injecting the same reasoning together with a trivial output prefix raises the attack success rate to as high as $99\%$ for some models. For this type of attack we find that contextual prefixes work better than static prefixes; and that susceptibility is dependent on the model.

arXiv ID: 2609.29775 / 要約の誤りについて