コード作成エージェントの回路タイミング調整能力を測る
TicTacBench: Benchmarking Timing Closure Capabilities of Coding Agents
この論文をやさしく読む
ひとことで言うと
AIエージェントが回路のRTL設計をタイミング制約に合わせて直せるか、30課題で測った研究。
何に役立つ？
考えられる用途は、回路設計エージェントの評価や、タイミング調整の手順を改善する際の比較基準。
この研究の面白いところ
配置配線後の結果と機能等価性まで含む課題で測り、標準手順を使わせる方法による達成率の変化も検証した点。
どこまで分かった？
示された数値は30課題、8モデル、300回以上の実行での結果であり、すべてのRTL設計への一般化は要旨だけでは判断できない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデルの進歩により、レジスタ転送レベル（RTL）の設計や最適化など、複雑な工学作業を行うコード作成エージェントが現れた。既存のRTLベンチマークは主として、生成した設計の機能的な正しさや性能、消費電力、面積を評価し、タイミング制約を満たすまで調整する能力を十分に測っていない。本論文は、配置配線後の評価に基づいて、RTL段階のタイミング調整能力を測るTicTacBenchを提案する。30種類の課題それぞれに、改善の余地があるRTL設計、現実的なタイミング制約、機能等価性の検証、タイミング報告を用意した。 最先端の大規模言語モデル8種類を用いたコード作成エージェントの実行を300回以上調べた結果、最良のエージェントでもタイミング制約を満たせた課題は53.3％だった。このとき、面積と遅延の積は平均7.18％悪化し、エネルギーと遅延の二乗の積は平均8.83％改善した。タイミング調整に失敗する共通の類型も特定した。さらに、標準的なタイミング調整手順に沿うようエージェントを導くTicTacSkillを提案し、タイミング制約の達成率を9％改善した。結果は、コード作成エージェントのRTL設計能力が進歩する一方、タイミング調整にはなお改善の余地が大きいことを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Recent advances in large language models (LLMs) have led to the emergence of coding agents capable of performing complex engineering tasks, including register-transfer level (RTL) design and optimization. Existing RTL benchmarks mainly evaluate functional correctness and performance, power, and area (PPA) of the generated RTL designs, leaving agents' ability for \emph{timing closure} under-evaluated. We propose TicTacBench, a benchmark specifically designed to evaluate coding agents' capabilities for RTL-level timing closure under post-place-and-route (post-PnR) evaluation. TicTacBench contains 30 diverse tasks, each provided with a suboptimal RTL design, realistic timing constraints, functional equivalence verification, and timing reports. With over 300 runs of coding agents driven by 8 frontier LLMs, we find that even the best agent can only close 53.3\% of tasks with 7.18\% area-delay product (ADP) degradation and 8.83\% energy-delay-squared product (EDDP) improvement on average. We identify common failure categories that explain why agents fail to close timing. Then we propose TicTacSkill, a new method that guides agents to follow standard timing-closure procedures and improves the Timing Closure Rate by 9\%. These results suggest that while coding agents have made significant progress in RTL design, their timing-closure capability still has substantial room for improvement.
著者のコメント
Accepted at ICCD26
arXiv ID: 2609.23363 ／ 要約の誤りについて