AI製ゲームの平均点では見えない要件未達を測る
GameASG-Bench: Benchmarking Autonomous Software Generation for Game Development
この論文をやさしく読む
ひとことで言うと
AIがゲームを動く形で作れたかだけでなく、操作やルールの要件をすべて満たしたかを、実際のブラウザ入力で検査します。
何に役立つ？
生成されたアプリを評価するときに、個々の検査の平均点と、納品物としての完全な要件達成を分けて判断するのに役立ちます。
この研究の面白いところ
最高の平均L2合格率93.2%に対し、厳密なタスク成功率の最高値は55.3%です。同じ成功数のハーネスでも成功するタスクが違う点を示しています。
どこまで分かった？
対象は仕様と検査を備えた47のブラウザゲーム生成タスクです。2つの最高値が同一構成の結果とは要旨には書かれておらず、一般的なソフトウェア開発全体の成功率を表すものではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
自律ソフトウェア生成（ASG）は、人間の要件を実行可能なアプリケーションに変換することを目指す。しかし、アプリケーションを納品できたからといって、相互作用する構成要素が指定された振る舞いの要件を満たすとは限らない。私たちは、ゲーム開発の生成タスクそのものに振る舞いのテスト可能性を組み込むベンチマーク、GameASG-Benchを導入する。 この設計では、生成前に評価用インターフェースの仕様を宣言し、許される開始シナリオ、プレイヤーレベルの操作、安定したスナップショット、拒否の振る舞い、不変条件を固定する一方、内部実装は自由にする。具体的には、（i）ソースレベルの適合性を評価する静的なL1検査、（ii）意味的な観測を実際の入力と実行時の証拠と組み合わせる、ブラウザで実行するL2検査を含む。 この手順を、主要12ジャンルと2次元・3次元の両方の操作にまたがる、ブラウザ向けゲーム生成47タスクとして実装する。各タスクには実行可能な検査と独立に検証された参照実装がある。実験は、エージェントの一貫した処理全体の性能、ツールへのアクセスと名目上のターン予算、推論にかける労力、実行ハーネスの選択という4つの主要な問いに答える。 9種類のエージェント構成で、観測された平均L2検査合格率の最高値は93.2%であった。しかし、L1の全検査と、該当するL2の前提条件・中核要件の全検査を必要とする、厳密なタスク成功率の最高値は55.3%（47タスク中26）にとどまった。DeepSeek-V4-Flashでは、すべてのツールへのアクセスと名目ターン予算の増加によって厳密なタスク成功数が増えた一方、推論の労力に対して成功率は単調には変化しなかった。試した2つのハーネスはいずれも18タスクで厳密に成功したが、両方で成功したタスクは10個だけであった。これらの結果は、高い平均検査合格率が覆い隠す、タスク単位での要件適合の不足を明らかにする。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Autonomous software generation (ASG) aims to turn human requirements into executable applications, but delivering these applications does not necessarily establish that their interacting components satisfy the specified behavioral requirements. We introduce GameASG-Bench, a benchmark that makes behavioral testability part of the generation task for game development. Our design declares an evaluation interface specification before generation, fixing legal starting scenarios, player-level actions, stable snapshots, rejection behavior, and invariants while leaving private implementations open. Concretely, we include: (i) static L1 checks that assess source-level compliance; and (ii) browser-executed L2 checks that combine semantic observations with real input and runtime evidence. We implement this protocol as 47 browser-native game-generation tasks spanning 12 primary genres and both 2D and 3D interaction, each with executable checks and an independently verified reference implementation. Our experiments answer four key questions about end-to-end agent performance, tool access and nominal turn budget, reasoning effort, and harness choice. Across nine agent stacks, the highest observed mean L2 check pass rate is 93.2%, yet the highest observed strict task success rate, requiring all L1 and applicable L2 prerequisite and core requirement checks, is only 55.3% (26/47 tasks). For DeepSeek-V4-Flash, full tool access and larger nominal turn budgets yield more strict task successes, while the strict task success rate is not monotonic in reasoning effort. Both tested harnesses achieve 18 strict task successes, but only ten tasks succeed under both. These results expose task-level compliance gaps that high average check pass rates actually obscure.
著者のコメント
17 pages. Code: https://github.com/areal-project/GameASG-Bench
arXiv ID: 2609.21293 ／ 要約の誤りについて