時系列予測のプロンプト選択で過度な類似を避ける方法
Beyond Similarity: Coverage-Aware Prompt Selection for Time Series Forecasting with LLMs
この論文をやさしく読む
ひとことで言うと
時系列予測でLLMに渡すプロンプトが似た例に偏らないよう、学習全体での使用状況を調整した。
何に役立つ？
まれな時間パターンも参照できるプロンプト選択方法の設計に役立つ。
この研究の面白いところ
一回の検索結果を多様化するだけでは改善せず、バッチをまたいで同じアンカーを使いすぎない調整が効いた。
どこまで分かった？
Electricity、M4-Monthly、少数事例での長期予測は同等以上という結果の例外である。改善はすべての設定に共通しない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
類似度に基づく検索は、文脈内学習、検索拡張生成、プロンプト方式の時系列予測で、大規模言語モデル（LLM）へ情報を与える際の主要な規則である。しかし、この規則はほぼ重複する候補に集中しがちである。多様性を考慮した検索が提案されてきたが、ほかの検索を用いる処理手順では十分に検討されていない。この問題を、学習されたプロンプト集合から類似度で取り出す時系列予測を対象に調べる。この領域の主流手法は冗長性を制御せず、コサイン類似度上位K件を取得するため、主要な時間パターンに偏り、まれだが情報量のある事象を見落とす。そこで、使用履歴の追跡と飽和するゲートの技術を組み合わせ、学習可能なパラメータを増やさずにカバレッジ正則化を加える、CASP-LLMを提案する。長期予測の6ベンチマークと短期予測のM4で、Electricity、M4-Monthly、少数事例による長期予測の場合を除き、大半のデータセットと予測期間の組み合わせで、類似度ベースのLLM予測器と同等以上の結果だった。統制した検討により、失敗の原因は一回の検索内での重複ではなく、複数バッチをまたぐ使用状況にあると分かった。一回の検索結果を多様化するMMRなどは効果がなかったが、学習全体でアンカーの使用を正則化すると効果があった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-19（UTC）
- 最新改訂
- 2026-09-19 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-19 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Similarity-based retrieval is the dominant rule for conditioning large language models (LLMs) in in-context learning, retrieval-augmented generation, and prompt-based time series forecasting. The rule concentrates on near-duplicate candidates, an issue that has motivated diversity-aware retrieval but remains unexamined in other retrieval-conditioned pipelines. We study this issue using prompt-based time series forecasting as a test bed, where a learned prompt pool is retrieved by similarity. Dominant methods in this setting retrieve top-K entries by cosine similarity without redundancy control, producing a bias toward dominant temporal patterns while overlooking rare but informative events. We propose CASP-LLM, a coverage-aware semantic prompting framework that addresses this prompt selection bias by combining usage-tracking and saturating-gate techniques into a coverage regularizer that adds no learnable parameters. On six long-term benchmarks and the M4 short-term benchmark, CASP-LLM matches or improves on similarity-based LLM forecasters on most dataset-horizon settings, with the exceptions of Electricity, M4-Monthly, and the few-shot long-horizon setting. A controlled study locates the failure mode at the cross-batch usage level rather than per-retrieval redundancy: within-retrieval diversification such as MMR does not help, whereas regularizing anchor usage across training does.
著者のコメント
Accepted to Findings of the Association for Computational Linguistics: EMNLP 2026. 24 pages, 8 figures, 15 tables
arXiv ID: 2609.22977 ／ 要約の誤りについて