Unreal Engineのゲーム制作エージェントを実行結果で評価
CraftBench-UE: Deterministic Evaluation for Coding Agents in Unreal Engine
この論文をやさしく読む
ひとことで言うと
Unreal Engineで制作したゲーム機能が実際に要求どおり動くかを検査する評価基盤を作った研究。
何に役立つ？
コードのビルドだけでは見逃す動作上の失敗を、エージェント評価で検出するのに役立つ。
この研究の面白いところ
同一の遊びをC++とBlueprintで実装させ、成果物と実行結果の差を比べた点。
どこまで分かった？
報告された差は70課題のベンチマークと指定されたモデル・ツール設定に基づく。実際の全ゲーム開発へ一般化できるとは要旨だけでは分からない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ゲームエンジンで遊びの機能を作るにはコードを書く以上の作業が必要であり、コンパイルできて動作するコードでも要求された遊びを実現しているとは限らない。本研究はCraftBenchUEを提案する。これはエージェントを隔離したUnreal Engine環境で動かし、保存された提出物を新しいプロジェクトで再構築したうえで、LLMによる判定を使わずに、ビルド、アセット、実行時の決定的な検査を行う評価基盤である。これを基に、C++ソース、Blueprintアセット、エディタースクリプトにまたがる70課題のベンチマークを構築した。七つのモデルを二つのエディターツール設定で評価し、C++課題ではファイル操作とシェル操作だけの基準条件とも比較した。さらに、同じ遊びを指定し同じ実行時テストを使いながら、提出形式をC++とBlueprintに分けた課題を対にした。 対になった10課題では、C++の完了率が二つのツール設定でBlueprintをそれぞれ30.0ポイント、42.9ポイント上回った。この組で期限内に提出されアセット検査を通過したBlueprintのうち、それぞれ42.2%、50.0%が明示的な実行時アサーションに失敗した。つまりアセット要件を満たしても、要求された遊びの動作検査には通らなかった。評価基盤、課題群、エージェントの作業過程に関する知見は報告書とともに公開予定である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-19（UTC）
- 最新改訂
- 2026-09-19 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-19 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Building gameplay features in a game engine requires more than code, as code that compiles and runs does not necessarily implement the requested gameplay. We introduce CraftBenchUE, an evaluation harness that runs agents in an isolated Unreal Engine environment, reconstructs their saved submissions in fresh projects, and applies deterministic build, asset, and runtime checks without an LLM judge. Based on the harness, we built a benchmark consisting of 70 tasks spanning C++ source, Blueprint assets, and editor scripting. We evaluate seven models under two editor-tool configurations, with a file-and-shell baseline on C++ tasks. We further pair tasks that specify the same gameplay and use the same runtime tests, but require C++ and Blueprint as the deliverables. Across the 10 paired tasks, C++ completion rates exceed Blueprint by 30.0 and 42.9 percentage points in the two tool configurations. Among on-time Blueprint submissions in this paired set that pass asset checks, 42.2% and 50.0% fail explicit runtime assertions. These submissions satisfy asset requirements but fail the required gameplay tests. We will release the harness, task benchmark, and our trajectory findings with the report.
arXiv ID: 2609.23142 ／ 要約の誤りについて