arXiv論文メモ
新着一覧
cs.LG / cs.SE · 査読状況未確認

コード生成の信頼性を測る入力側複雑性指標

The Complexity Kink: A Prompt-Side Structural Complexity Index for Code-Generation Reliability

Michael Hernandez and Tian Zhao

この論文をやさしく読む

ひとことで言うと

コード生成の難しさを、失敗後の短いコードではなく、生成前の要求文の6つの構造的側面から測る指標です。

何に役立つ?

難しい問題で壊れた短いコードが出た結果、簡単な問題と誤分類されるのを避け、信頼性を調べる評価枠組みです。

この研究の面白いところ

5,000要求と21モデルの105,000生成を調べ、評価者間の指標の一致を確認します。一方、成功率の折れ目は課題構成を調整すると大きく移動します。

どこまで分かった?

普遍的な失敗しきい値は主張していません。複合点は指数として扱い、操作変数法の推定にも因果解釈をしないと明記しており、高複雑度の追加事例も少数です。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

生成コードから測る複雑性は失敗に依存する。難しいプロンプトでも短い失敗プログラムなら出力複雑性は低くなる。そこで生成前に採点し正しさと分離する6次元のプロンプト側構造複雑性指標を導入する。5,000件のPythonプロンプトを4人のLLM評価者が再採点し、19,997評価行、4,998件でICC=0.872を得た。各プロンプトを21モデルで評価し105,000生成を得た。平均プール分析では複合値13.75に非単調な区切りがあり、以下の合格率79.9%、以上87.6%だったが普遍的閾値ではない。タスク種別固定効果では区切り10.75、差7.6から2.1ポイント、構成フレーム統制では8.50、差−3.5ポイントとなった。モデル別は上昇16件、下降5件。365件の監査拡張では16超が14件だけだった。合格数ゼロ生成のうち28.5%はプロンプト複合値8超かつ出力複雑性10以下。人間の一致は中程度かつ評価者依存で、過剰識別検定は6次元の同時制約を棄却したため、複合値を指標として扱い2SLSを因果解釈しない。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-17(UTC)
最新改訂
2026-09-17 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Complexity measured from generated code is failure-dependent: a difficult prompt can yield a short failing program and be assigned low output complexity. We introduce a six-dimension prompt-side structural-complexity index scored before generation and kept separate from correctness. We select 5,000 Python prompts across six bands of a preliminary single-rater rubric. Four out-of-panel LLM raters rescore the locked prompts, giving 19,997 score rows; composite inter-rater reliability is ICC = 0.872 on the 4,998 prompts with all four ratings. We evaluate 21 models per prompt, yielding 105,000 generations. In the unadjusted mean-pooled analysis, pass rate has a nonmonotone breakpoint at composite 13.75, with 79.9% at or below and 87.6% above. This is not a universal failure cutoff. Task-type fixed effects shift the breakpoint to 10.75 and cut the regime gap from 7.6 to 2.1 points. A construction-frame control shifts it to 8.50 with a raw gap of -3.5 points, and neither frame alone reproduces the pooled +7.6-point change. Model-specific fits include 16 upward and five downward changes. A 365-prompt audit-clean extension matches the original five-model estimates at bins 15 and 16 but adds only 14 prompts above bin 16. Among zero-pass generations with computable Lizard complexity, 28.5% pair a prompt composite above 8 with output complexity at most 10. Human agreement is moderate and rater-dependent on a disagreement-enriched calibration set; paraphrase and cross-language rescoring preserve score ordering. Overidentification tests reject the joint restrictions on the six dimensions, so we treat the composite as an index and make no causal interpretation of the 2SLS estimates. The contribution is a pre-generation measurement framework and a bounded observational analysis of reliability regimes.

arXiv ID: 2609.19616 / 要約の誤りについて