AIによる検索モデル改良を人の検証で支えるEvoPilot
Verify, Don't Trust: Agentic Model Development for Video Discovery Retrieval at Scale
この論文をやさしく読む
ひとことで言うと
AIにモデル改良を任せるとき、実験が動いたことと、比較が正しいことは別です。この研究は、人による確認と機械的な検査を組み合わせ、誤った実験結論を防ぐ運用方法を調べています。
何に役立つ？
数週間にわたるモデル改良で、評価条件の不一致、失敗の再発、中断後の復旧を管理する参考になります。実際の動画検索システムで37日間の経験を報告しています。
この研究の面白いところ
一度は22ポイントの悪化とされた変更が、評価器の不具合を直すと3.20ポイントの改善になりました。新しいモデル案そのものより、比較が成立しているかを検証することの重要性を具体例で示します。
どこまで分かった？
オフラインの3.20パーセントポイントと、オンラインの相対0.66%は異なる評価です。後者は7日間の評価でVDD部分のGSRRについて推定された値で、全製品の継続率の同率改善ではありません。人間の判断を含む方法であり、完全自律運用の実証ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル（LLM）のエージェントは、モデル変更の提案、実装、評価を行える。自動研究ループは、自己完結したプログラム上で数分単位の反復により、この能力を示している。一方、オンラインの自動研究は、非同期システム、数時間かかる実験条件、製品に影響し得る数週間の取り組みにまたがる。実行が完了しても、コード変更が実質的に何も変えていない、データ期間に漏洩がある、評価器の意味が変わる、比較する二群が異なる配信経路を通る、といった理由で結論が無効になることがある。 本研究は、長期にわたるオンライン自動研究のために、人間による判断を通過条件とするEvoPilotを提案する。役割別のエージェントが、バージョン管理した領域スキルと型付きアダプターを通じて各ラウンドを実行する。永続記録が実験と失敗を保存し、決定的な検査が記録された教訓を適用する。 起点となる動画を開いた後に関連動画を見つけるオンライン機能Video Deep Dive（VDD）の検索システムについて、37日間の取り組みを調べた。七つの方向性を扱い、毎時更新される数億動画のインデックスを使用した。以前の手動実験では、相互作用ヘッドの利点は確立されていなかった。初歩的な自動研究の試みでこの方向性を再検討した際には、オフラインのヒット率が22パーセントポイント下がった原因を、誤ってそのヘッドに帰した。 その後EvoPilotを導入した。人間の判断を組み込んだ検証により、低下の原因を、出力の深さを3,000と600にしていた既存の評価不具合に突き止めた。修正後、条件をそろえた比較で、オフラインの改善幅は3.20パーセントポイントと測定された。研究後のリプレイと変異テストでは、無効な比較を拒否する一方、対応する有効な比較を受け入れた。永続状態により中断したラウンドを復旧でき、成果物の再利用で約5 GPU時間を節約した。これとは別の7日間のランダム化オンライン評価では、継続利用のための良い検索結果率（GSRR）のVDD部分に、相対0.66%の増加が推定された。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Large language model (LLM) agents can propose, implement, and evaluate model changes. Autoresearch loops demonstrate this capability through minutes-scale iterations on a self-contained program. Online autoresearch instead spans asynchronous systems, hours-long variants, and weeks-long campaigns that can influence a product. A completed run can still support an invalid conclusion when a code change is a no-op, data windows leak, evaluator semantics drift, or the two arms traverse different serving funnels. We present EvoPilot, a human-gated method for long-horizon online autoresearch. Role-specific agents execute each round through a versioned domain skill and typed adapter. Durable records preserve experiments and failures; deterministic checks enforce recorded lessons. We study a 37-day campaign for the retrieval system that powers Video Deep Dive (VDD), an online experience for discovering follow-on videos after a user opens a seed video. The campaign covered seven directions and used an hourly refreshed index of hundreds of millions of videos. Earlier manual experiments had not established a benefit from an interaction head. A primitive autoresearch attempt revisited the direction but incorrectly attributed an offline hit-rate decline of 22 percentage points to the head. We then introduced EvoPilot. Its human-gated verification traced the drop to a pre-existing evaluation defect that produced output depths of 3,000 and 600. After repair, a matched comparison measured an offline improvement of 3.20 percentage points. Post-study replay and mutation tests rejected invalid comparisons while admitting valid counterparts. Durable state recovered an interrupted round, and artifact reuse avoided approximately five GPU-hours. Separately, a seven-day randomized online evaluation estimated a 0.66% relative increase in the VDD slice of Good Search Result Rate for Retention (GSRR).
著者のコメント
9 pages, 1 figure, 8 tables. ACM sigconf format; submitted to the KDD 2027 Applied Data Science Track
arXiv ID: 2609.21257 ／ 要約の誤りについて