コード編集エージェントの行動から使用モデルを識別する
Who Is Behind the Harness? Fingerprinting LLMs through Agentic Behavior
この論文をやさしく読む
ひとことで言うと
コーディングエージェントが失敗や検証にどう対応するかを観察し、その背後で動く言語モデルを見分ける方法。
何に役立つ?
エージェントで使うモデルが意図したものかを、モデル内部に触れず実行行動から調べる用途が考えられる。
この研究の面白いところ
文章の癖ではなく、編集後の検証、失敗からの回復、仕様とテストの衝突という判断過程を手掛かりにした。
どこまで分かった?
要旨は高い識別精度と述べるが具体的数値は載せていない。評価は36モデル、2種類の実行環境での結果。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデルは、リポジトリを調べ、ツールを呼び、ファイルを変更するコーディングエージェントとして使われることが増えている。その背後のモデルを入れ替えると、変更を検証するか、失敗から安全に回復するかといった、セキュリティにも関わる判断が変わり得る。既存のモデル識別法は主に直接的な文章やトークン分布から推定するが、エージェントではシステム指示、制御ロジック、ツール、実行結果が間に入るため、その手掛かりはそのまま使いにくい。 本研究は、コーディングエージェントの実行を対象とする能動的なブラックボックス識別法LIDARを提案する。制御された変更の下で、編集後の検証、一時的な失敗からの回復、仕様とテストの衝突への対応を明らかにする3組のコーディング課題を使う。実行の軌跡を個別事例と分布の両水準の特徴量で表し、軽量な確率的識別器によって正常な参照データと比較する。モデルの重み、出力確率値、提供元の内部情報にはアクセスしない。 7系列36モデルと2種類のエージェント実行環境で、高いTop-1正解率と平均逆順位(MRR)を達成し、既存のモデル識別・API監査の4手法を上回った。要素を除く実験では、二水準の特徴量、すべての課題の組、および制御した変種が寄与することを確認した。結果は、最終出力だけでは分からないモデルの識別情報を、エージェントの実行行動から得られることを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23(UTC)
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
LLMs increasingly operate through coding-agent harnesses that inspect repositories, invoke tools, and modify files. Substituting the model behind such an agent can therefore change security-relevant decisions, including whether it verifies changes or recovers safely from failures. Existing LLM fingerprints largely infer identity from direct text or token distributions. In coding agents, these signals are mediated by system instructions, controller logic, tools, and execution feedback, limiting their transfer. We present LIDAR (LLM Identification from Decisions and Actions at Runtime), an active black-box fingerprinting method for coding-agent execution. Three coding probe pairs expose post-edit verification, transient-failure recovery, and specification--test conflict resolution under controlled changes. LIDAR represents the resulting trajectories with complementary instance-level and distribution-level features and compares them with clean references using a lightweight probabilistic identifier. It requires no access to model weights, logits, or provider internals. Across 36 models from seven families and two agent harnesses, LIDAR achieves high Top-1 accuracy and MRR and outperforms four existing fingerprinting and API-auditing baselines. Ablations confirm that the two feature levels, all probe pairs, and their controlled variants contribute. These results show that agent execution behavior provides model-identity evidence beyond final outputs.
arXiv ID: 2609.28559 / 要約の誤りについて