費用を考慮して大規模言語モデルの評価を選ぶ方法
Efficient Cost-Aware LLM Evaluation via Bayesian Bandit Gittins Indices
この論文をやさしく読む
ひとことで言うと
多数の言語モデル設定を比べるとき、次にどれを評価し、いつ評価を止めるかを費用に応じて選ぶ方法。
何に役立つ？
モデル設定の比較にかかる評価費用を抑えたい場合に役立つ可能性がある。要旨では四つのベンチマークの応答行列で比較した結果が示されている。
この研究の面白いところ
途中までしか評価していない候補も推奨対象とし、不確実性を反映して選ぶ。網羅評価費用の1〜2％で単純リグレットがほぼゼロになる場合が多いと報告する。
どこまで分かった？
費用と性能の結果は、GSM8K、PIQA、AlpacaEval、MMLUの応答行列を用いた評価に基づく。すべてのモデルや新しい課題で同じ削減率になるという記載はない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
高性能な設定を見つけるため、候補となる大規模言語モデルのすべての設定をベンチマークの全問題で網羅的に評価するのは費用がかかる。本研究は設定選択を費用を考慮したベイズ的バンディット問題として定式化し、ベイズ最適なGittins方策に基づいて次に評価する設定と停止時点を決めるGittinsEvalを提案する。事後分布の不確実性を考慮する下側信頼限界（LCB）型の得点を使い、評価が完了した設定と途中の設定の両方から、いつでも推奨を出せる規則へ方策を拡張する。事前計算の後は軽量なオンライン更新だけで済むため、計算効率も高い。 GSM8K、PIQA、AlpacaEval、MMLUの応答行列を用いた評価では、GittinsEvalは一貫して競争力のある結果を示した。特に問題数の多いベンチマークでは設定単位のベイズ最適化より、候補数の多い課題では費用を考慮しないバンディット法よりも大きな改善が見られた。重要な結果として、網羅的評価費用の1〜2％だけで単純リグレットがほぼゼロに達する場合が多く、適応的な停止規則は通常1〜10％の時点で発動する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Exhaustively evaluating every candidate LLM configuration on every benchmark item to identify a high-performing one is costly. We formulate configuration selection as a cost-aware Bayesian bandit problem and propose GittinsEval, which draws on the Bayesian-optimal Gittins policy to determine which configuration to evaluate next and when to stop. We extend the policy with an anytime recommendation rule over both fully and partially evaluated configurations, using an LCB-style score to account for posterior uncertainty. GittinsEval is computationally efficient, requiring only lightweight online updates after offline precomputation. Across GSM8K, PIQA, AlpacaEval, and MMLU response matrices, GittinsEval is consistently competitive, with particularly strong gains over configuration-level Bayesian optimization on large-example benchmarks and over cost-unaware bandit baselines on large-candidate tasks. Crucially, GittinsEval often attains near-zero simple regret using only 1% to 2% of the exhaustive-evaluation cost; it also offers an adaptive stopping rule that typically triggers at 1% to 10%.
著者のコメント
Spotlight at ICML 2026 Workshop on Decision-Making from Offline Datasets to Online Adaptation: Black-Box Optimization to Reinforcement Learning (DEMO)
arXiv ID: 2609.25645 ／ 要約の誤りについて