暗号方式の識別でLLMがメタデータに頼る度合いを測る
ACTS: A multi-tier benchmark evaluating LLM cipher identification under controlled blind conditions
この論文をやさしく読む
ひとことで言うと
LLMが暗号文だけで暗号方式を見分けられるか、メタデータを段階的に隠して評価した。
何に役立つ？
暗号方式の識別能力を評価する際に、ファイル名などの手掛かりへの依存を見分けるのに役立つ。
この研究の面白いところ
完全なメタデータと盲検条件の精度差を測り、古典的なランダムフォレストとも比較した。
どこまで分かった？
ランダムフォレストとの比較は入力表現と学習方法が異なり、差の原因を一つに分解できない。評価は記載されたコーパス、システム、分割に基づく。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ACTS（Artifacts in Cipher Testing Suite）という再現可能なベンチマークを導入する。メタデータを段階的に減らし、第1段階では完全なメタデータ、第2段階ではファイル名だけ、第3段階では情報なしとして、暗号文そのものから暗号方式を見分ける能力を分離して調べる。第5段階では思考過程、コードを使った推論、自己修正という強制的な推論も試す。7,000ファイルに対する10設定の要素除去分析では、特徴量を取り除く分析のために一つの訓練・テスト分割（70対30）を使い、規模を広げて追加の証拠を得た。 v2bコーパスでの実際のAPI推論では、ファイルごとにPKCS7、ISO 10126、ANSI X9.23からランダムに選んだパディングを使い、暗号学的に安全な乱数生成器による固有の鍵と固有の平文を使った。三つのクラウドシステムについてモデルごとに127ファイル、第1段階381記録、第3段階380記録を評価し、第4段階の自律エージェント評価254件も加えた。第3段階の合計精度は30.8％で、7分類の無作為基準14.3％を少し上回る程度だった。メタデータへの依存に相当する差は40.9パーセントポイントで、第1段階の71.7％に対し第3段階は30.8％だった。人が設計したバイト単位の特徴量で学習した古典的なランダムフォレストは7,000ファイルで69.2％であり、実際のAPI結果との差は38.4パーセントポイントだった。ただし、この比較は入力の表現と学習方法が異なるため、純粋な要因分解ではなく、全体的な能力差として解釈すべきである。報告する六つの知見は、メタデータ依存が大きいこと、盲検条件で規模を増やしても改善しないこと、強制的な推論が本質的な改善をもたらさないこと、観測された能力差が以前の経験的推定より大きいこと、信号は主に統計的ではなく構造的であること、経験則の不変性と機械学習の脆さが異なる失敗様式を示すことである。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 掲載先の記載あり
著者による掲載先の記載：Expert Systems with Applications, Vol. 332, 133329 (2026)。出版社での独立確認は未実施です。
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We introduce ACTS (Artifacts in Cipher Testing Suite), a reproducible benchmark that isolates cryptanalytic ability through tiered metadata deprivation (Tier-1: full metadata; Tier-2: filename only; Tier-3: completely blind) and tests forced reasoning (Tier-5: chain-of-thought, code-as-reasoning, self-correction) on ciphertext alone. A 10-configuration ablation study on 7,000 files, using a single 70/30 train-test split for feature-removal analysis, provides additional evidence at scale. Live API inference on a v2b corpus with fully randomised padding (PKCS7, ISO 10126, and ANSI X9.23 selected per file), unique CSPRNG keys, and unique plaintexts (127 files per model, 381 Tier-1 records, 380 Tier-3 records across three cloud systems, supplemented by 254 autonomous agentic evaluations in Tier-4) yields a combined Tier-3 accuracy of 30.8%, only modestly above the 14.3% random baseline for seven-way classification. The corresponding combined metadata-dependency gap is 40.9 percentage points (Tier-1: 71.7% vs. Tier-3: 30.8%). Against a classical Random Forest (69.2% on 7,000 files, trained on engineered byte-level features), the observed live gap is 38.4 percentage points. Because this comparison spans different input representations and training paradigms, the gap should be interpreted as an overall capability difference rather than a clean factorial decomposition. Six findings are reported: (1) Metadata dependency remains large; (2) Scaling failure under blind conditions; (3) Forced reasoning is epiphenomenal; (4) The observed live capability gap exceeds earlier heuristic estimates; (5) The signal is primarily structural rather than statistical; (6) Heuristic invariance versus ML fragility reveals different failure modes.
著者のコメント
38 pages, 6 figures, 8 tables
arXiv ID: 2609.26893 ／ 要約の誤りについて