LLMサービスの出力水増しを外部から検出する
The More It Says, the More You Pay: A Black-Box Audit of Provider-Side Token Inflation in LLM Services
この論文をやさしく読む
ひとことで言うと
従量課金の言語モデルが不自然に長く答える操作を、出力だけから監査する方法を検討します。
何に役立つ？
信頼できる参照モデルや過去の正常応答がなくても、出力長の異常を調べるための監査研究です。
この研究の面白いところ
既に長文化された応答では、追加の長文化介入による増分が小さくなる飽和を使います。終了トークンの確率低下と結び付けて説明しています。
どこまで分かった？
公開重みモデルで平均検出率85.1%、偽陽性率2%未満を報告しています。実サービス15件中7件の検出は操作と整合する挙動であり、不正行為の確定とは区別する必要があります。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
トークン数に応じて課金する大規模言語モデル（LLM）サービスでは、モデルが多く出力するほど利用者の支払いも増える。不誠実な提供者は、課題に対する有用性をおおむね維持したまま、生成を密かに操作して出力トークン数を水増しできる。この操作を提供者側トークン水増し攻撃（PTIA）と定義し、提供者が制御する処理系のクエリ、プロンプト、表現、モデルの各段階にわたる代表的な5種類の攻撃を具体化する。実験では、各攻撃によって平均出力長が未操作の基準の10.2倍を超え、PTIAが金銭面で魅力を持ち、生成の複数の段階で実行可能であることを示した。しかし利用者が、内部を見られない応答だけからPTIAを監査するのは難しい。 中心となる観察は、PTIAの飽和である。最初の攻撃で出力は急に長くなるが、さらに攻撃を強めたり組み合わせたりしても効果ははるかに小さい。この飽和は生成の停止挙動に由来する。最初のPTIAは系列終端トークンの確率を大きく下げる一方、その後の介入による低下はわずかにとどまる。 この知見に基づき、出力を長くする制御された介入を加える、単一のプローブによる軽量な監査を設計する。PTIAが行われている場合、このプローブが追加で生じさせるトークンは、通常のサービスの場合よりはるかに少ない。この監査には、信頼できるローカル参照モデルも、過去の未操作の応答も必要ない。元のリクエストとプローブを加えたリクエストは別々に送られ、通常の通信に似ているため、監査の回避が難しい。重みが公開された4モデルでは、偽陽性率2％未満で平均85.1％の検出率を得た。実際のLLM APIサービス15件では、7件にPTIAと整合する挙動を検出した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
In pay-per-token LLM services, the more a model says, the more users pay. Dishonest providers can covertly manipulate generation to inflate output tokens while largely preserving task utility. We define such manipulation as a Provider-Side Token Inflation Attack (PTIA) and instantiate five representative attacks at the query, prompt, representation, and model levels of the provider-controlled pipeline. Our experiments show that each attack increases mean output length to more than 10.2x the clean baseline, demonstrating PTIA's financial appeal and feasibility at multiple stages of generation. Yet auditing PTIA from black-box responses is difficult for users. Our key observation is PTIA saturation: an initial attack sharply lengthens output, but further strengthening or composition has much less effect. We trace this saturation to stopping behavior: an initial PTIA sharply lowers the end-of-sequence token probability, whereas further intervention lowers it only marginally. Building on this insight, we design a lightweight single-probe audit that applies a controlled lengthening intervention. Under PTIA, the probe induces far fewer additional tokens than under normal service. The audit requires neither a trusted local reference model nor historical clean responses, and its separately issued original and probed requests resemble ordinary traffic, making evasion difficult. Across four open-weight models, it achieves an average detection rate of 85.1% with false-positive rates below 2%. Across 15 real LLM API services, the audit flags 7 for PTIA-consistent behavior.
著者のコメント
22 pages, 10 figures, 8 tables
arXiv ID: 2609.20370 ／ 要約の誤りについて