PyTorchモデルを複数のNPU実行環境へ移すエージェント
From PyTorch to the NPU: LLM-Agent-Driven Model Conversion Across Heterogeneous Inference Runtimes
この論文をやさしく読む
ひとことで言うと
PyTorchの画像モデルを、複数の端末推論環境で動く形へ変換するエージェントの作業手順。
何に役立つ？
異なるNPUやGPU向けにモデルを導入する際、変換と検証の工程を整理する参考になる。
この研究の面白いところ
環境固有の知識を段階ごとに与え、手動の転置挿入を避ける適応層も用意した。
どこまで分かった？
主眼は実務的な導入経験とFP16の実現可能性であり、大規模な体系的比較ではない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
端末上のAIモデル導入は、モデル変換、演算子の互換性への対応、実行環境への統合、精度の検証を含む多段階の工程である。先行研究はQualcomm AI Runtimeでエージェントによる自動化を示したが、Intel OpenVINO、Rockchip RKNN、NVIDIA TensorRT、ONNX Runtimeなど、より広い端末推論環境にはそれぞれ異なる道具や最適化戦略がある。本論文は、以前Qualcomm AI Runtimeで示された言語モデルエージェント駆動の導入自動化手法AIPCを、複数の実行環境へ広げる。OpenVINO、RKNN、TensorRT、ONNX Runtimeなどの異なる推論環境に対し、一つのモデルを一つの環境へ自動で導入する方法を提案する。端末AIの導入を標準化された検証可能な段階に分け、エージェントのスキル、補助スクリプト、段階ごとの検証ループを通じて、実行環境固有の知識を処理へ入れる。代表的な画像モデルを使い、PyTorchモデルから実行可能な推論まで、x86/NPU向けOpenVINO、RK3588向けRKNN、NVIDIA GPU向けTensorRT、Qualcomm NPU向けONNX Runtimeを対象に変換を完了できることを示した。重点はFP16精度での導入可能性の検証である。主な貢献は、大規模で体系的な性能比較や環境間の演算子修復戦略の比較ではなく、複数環境への導入の実務経験、道具の対応関係の分析、手動の転置挿入をエージェントの修正負担から外す配置適応・推論置換層、構造化された知識を与えたときのエージェントの逸脱の実証的な特徴付けである。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Edge AI model deployment is a multi-stage engineering process involving model conversion, operator compatibility handling, runtime integration, and precision verification. While prior work has demonstrated agent-based automation for Qualcomm AI Runtime, the broader edge inference runtime ecosystem, including Intel OpenVINO, Rockchip RKNN, NVIDIA TensorRT, and ONNX Runtime, presents distinct toolchains and optimization strategies. This paper extends AIPC (AI Porting Conversion, an LLM agent-driven methodology for AI model deployment automation previously demonstrated on Qualcomm AI Runtime) to multi-runtime scenarios, proposing an LLM agent-driven approach for automated single-model-to-single-runtime deployment across heterogeneous inference backends, such as Intel OpenVINO, Rockchip RKNN, NVIDIA TensorRT, and ONNX Runtime. We decompose the edge AI deployment into standardized, verifiable stages, and inject runtime-specific domain knowledge into the agent execution flow through agent skills, auxiliary scripts, and staged verification loops. Using representative vision models, we demonstrate that agent-based deployment can complete the conversion from a PyTorch model to its executable inference, targeting OpenVINO for x86/NPU, RKNN for RK3588, TensorRT for NVIDIA GPU, and ONNX Runtime for Qualcomm NPU with a focus on FP16 precision deployment feasibility verification. The contributions of this paper primarily lie in providing multi-runtime deployment engineering practice experience, toolchain mapping analysis, a layout-adaptation and inference-replacement layer that removes manual transpose insertion from the agent's repair burden, and an empirical characterization of agent deviation behavior under structured knowledge injection, rather than large-scale systematic benchmarking or cross-runtime operator repair strategy comparison.
著者のコメント
13 pages with 8 figures and 7 tables. Prepared with ACM conference format
arXiv ID: 2609.27249 ／ 要約の誤りについて