実測電力を使って省エネのLLM振り分けを学ぶ
Measured Joules, Learned Routes: Learning to Route for Energy-Efficient LLM Serving
この論文をやさしく読む
ひとことで言うと
質問ごとに使うLLMを選び、実測したGPUエネルギーを使って正確さと消費電力の両立を学ぶ。
何に役立つ？
複数のLLMを提供するサービスで、簡単な問い合わせを適切な小型モデルに回す設計に役立つ可能性がある。
この研究の面白いところ
正答率だけでなく遅延、電力、GPUエネルギーを問い合わせごとに測り、ルーターの学習に使う。
どこまで分かった？
七つのベンチマーク課題での結果である。削減量の具体的な数値や、ほかの運用環境での性能は要旨に記載がない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル（LLM）とエージェント型AIの推論に必要なエネルギーは、モデルの大規模化と推論過程の長期化によって急速に増えている。一方、多くの問い合わせには最大規模のモデルの能力は不要であり、常に高性能モデルへ送ると不必要な計算とエネルギー消費が生じる。本研究は、異なる種類のLLM群の間で問い合わせを適応的に振り分け、課題の性能を大きく損なわずに消費エネルギーを減らせるか調べる。各問い合わせを読み、固定された候補群から回答モデルを選ぶ言語モデル型のルーターを設計した。まずオフラインのトーナメントで、各候補モデルの各問い合わせに対する正答率、遅延、電力、GPUエネルギーを測る。これらの実測値を使い、教師ありの追加学習と、目的に合わせた設定でのGroup Relative Policy Optimization（GRPO）によってルーターを学習させる。結果は、学習したルーターが問い合わせの内容に応じて高コストのモデルを選択的に割り当て、複数LLMの提供における正確さとエネルギーのトレードオフを改善できることを示す。七つのベンチマーク課題では、ルーター間で正確さとエネルギーの急な相転移も観測され、LLMの性能を維持しつつ省エネにする実践的な手がかりが得られた。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-19（UTC）
- 最新改訂
- 2026-09-19 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-19 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Large language models (LLMs) and agentic AI systems are creating rapidly growing inference energy demands as model sizes grow and reasoning trajectories extend. While in practice, many queries do not require the capabilities of the largest available model, and routinely directing such queries to a high-capability model can introduce unnecessary, considerable computation and energy consumption. In this paper, we investigate whether adaptive routing across a heterogeneous pool of LLMs can reduce this energy burden without substantially compromising task performance. We design a language-model-based router that reads in each query and selects an answer model from a fixed candidate pool. The candidate models are first profiled through an offline tournament that records their correctness, latency, power, and GPU energy for each query. Using these measurements, the router is trained through supervised fine-tuning followed by group relative policy optimization (GRPO) with the tailored paradigms. Results demonstrate that learned routing can selectively allocate expensive model capacity based on query context and improve the accuracy-energy tradeoff in multi-LLM serving. Across seven benchmark tasks, we also observe a sharp accuracy-energy phase transition among routers, providing practical insights into improving energy efficiency while maintaining LLM performance.
著者のコメント
16 pages, 10 figures, in submission
arXiv ID: 2609.23085 ／ 要約の誤りについて