コードの作者を見分けるAIは書式や長さに頼っている
Style, Not Self: Surface Cues Explain Zero-Shot Code Attribution by Large Language Models
この論文をやさしく読む
ひとことで言うと
AIが自分で書いたコードを見分けるように見える現象を調べ、書式や長さの影響が大きいと示した。
何に役立つ？
コード評価モデルの自作優遇や作者判定を検証する際、均衡正解率や長さに基づく基準を併記する根拠になる。
この研究の面白いところ
コメントなどを除くだけで多くの判定が偶然水準になる一方、学習済み分類器にはなお区別できる情報が残った。
どこまで分かった？
調査対象は要旨に記載された商用モデルと三つのコード課題。自作コードの識別能力があらゆる条件で存在しないとは示していない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
言語モデルが自分で書いたコードを認識できれば、評価者としてそのコードを優遇したり、同じモデル同士の監視で結託したりする可能性がある。本研究は、現在の商用モデルが追加学習なしで自作コードを識別できるか調べた。5つの大規模言語モデルにMBPP、HumanEval、DS-1000の課題を解かせ、MBPPではさらに7モデルを加えた。評価役には、二つの解から自作を選ぶ、単一の解が自作か判定する、指定されたモデルが書いた解を二つから選ぶ、作者を伏せて品質を判定する、という4課題を与えた。 単一解の判定では、15のモデルとベンチマークの組み合わせすべてで均衡正解率は49～58％だった。通常の正解率は38～67％だが、大部分は自分が作者だと主張しやすい傾向を反映していた。二択課題の14の評価モデルと対戦相手の組み合わせでは、正解率と評価モデル側の解が長い頻度の相関がr＝0.93だった。指定モデルへの帰属は、組み合わせによって成功したり、一貫して逆に判定されたりした。 ドキュメンテーション文字列、コメント、型ヒント、局所変数名を規則で除く正規化はPass@1を保ち、再検証した12結果のうち10結果を偶然水準にした。残り2結果は正規化後も残る長さの差に沿っていた。ただし学習済み分類器は、正規化した組の大半をなお区別できた。Claude Haikuの自作コードへの選好も消えた。著者らは、均衡正解率、単純な規則による基準、ラベルの一貫性を報告するよう勧めている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
If a language model can recognize code it wrote, it may favor that code as a judge, and instances of one model monitoring each other could collude. We test this zero-shot on current commercial models. Five LLMs generate solutions to MBPP, HumanEval, and DS-1000, seven more to MBPP, and models act as evaluators in four tasks: picking their own solution from a pair, judging whether a single solution is their own, identifying which of two solutions a named model wrote, and judging quality blind. In the single-solution task, balanced accuracy is 49-58% for all 15 model-benchmark combinations, while raw accuracy (38-67%) mostly reflects how readily a model claims authorship. In the pairwise task, accuracy across 14 evaluator-opponent combinations correlates at r=0.93 with how often the evaluator's solution is longer. Attribution to a named model succeeds on some pairs and is consistently inverted on others. A rule-based normalization that strips docstrings, comments, type hints, and local names preserves Pass@1 and leaves ten of twelve re-tested results at chance; the other two follow a length difference it leaves, although a trained classifier still separates most normalized pairs. Claude Haiku's self-preference also disappears. We recommend reporting balanced accuracy, heuristic baselines, and label consistency.
著者のコメント
18 pages, 1 figure. Code and data: https://github.com/ebarkhordar/llm-collusion
arXiv ID: 2609.30048 ／ 要約の誤りについて