失敗例から必要な道具を増やす時系列エージェント
TimeEvo: Failure-Driven Self-Evolution of a Time Series Agent
この論文をやさしく読む
ひとことで言うと
時系列の質問に答えるエージェントが、失敗の種類を調べて必要な道具を追加する仕組み。
何に役立つ?
道具を一律に増やすと害もあるため、課題ごとに必要な道具を検証して採用する設計に役立つ。
この研究の面白いところ
一般的な自己修正で56件の回答が壊れても平均点にはほぼ出ないという問題を示した。
どこまで分かった?
実験は十の時系列質問応答課題と三つの基盤モデルで行われた。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
時系列エージェントは外部の道具を呼んで分析上の問いに答えるが、どの道具を持たせるかは実行前に人が決める。この設定には二つの失敗がある。第一に、人が専門知識で選んだ21の道具のライブラリは、役立つ課題もある一方で害になる課題もあり、試したすべての基盤モデルで異常検知の正解率を下げた。第二に、一般的な自己修正を一度行うと147の回答が変わり、そのうち56が壊れたにもかかわらず、最終スコアは1ポイント未満しか変わらなかった。どちらも、道具が役立つかは実行時に問いごとに決まるのに、道具は事前に与えられ、単一の平均値で評価されるという隔たりから生じる。そこでTimeEvoを提案する。エージェントの診断済み失敗を能力上の不足ごとにまとめ、それぞれについて測定を計画し、足りない部分を補う証拠だけを扱う道具を生成し、候補の道具群は対応を取った採用判定を通過した場合にだけ取り込む。十の時系列質問応答課題と三つの基盤モデルでの実験では、道具のない状態から始めたTimeEvoがすべての課題と基盤モデルで正解率を改善し、計算費用の低いモデルで育てた道具群を強いモデルに入れても利点があった。コードは公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23(UTC)
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Time series agents answer analytical questions by calling external tools, and which tools they carry is decided by people before the agent runs. However, we identify two failures in this setup. Human-Agent Tool Misalignment: a library of 21 expert-curated tools helps on some tasks and hurts on others, dropping anomaly accuracy under every backbone we test. Silent Harm: one round of generic self-revision changes 147 answers and breaks 56 of them, while the final score moves by less than a point. Both follow from the same gap: whether a tool helps is decided question by question at runtime, while tools are supplied in advance and judged by a single average. To address this, we propose TimeEvo, which clusters an agent's diagnosed failures into capability gaps, plans a measurement for each, synthesizes evidence-only tools that fill them, and admits the candidate library only through a paired admission gate. Experiments on ten time series QA tasks and three backbones show that TimeEvo, starting from an empty library, improves accuracy on every task and every backbone, and that a library grown on a cheap model still gains when it is installed into stronger ones. Code is available at https://github.com/Muyiiiii/TimeEvo.
arXiv ID: 2609.27277 / 要約の誤りについて