利用者ごとにプロンプトを育てる企業向け情報抽出
One Prompt Does Not Fit All: Self-Meta-Evolve for Personalized Information Extraction
この論文をやさしく読む
ひとことで言うと
同じ文書から何を取り出したいかは人によって違います。その違いをフィードバックから学び、個人用の指示文と、その指示文の直し方の両方を改善する研究です。
何に役立つ？
職種や担当業務に合わせて文書を整理する企業内の情報抽出への利用が考えられます。模擬利用者での成功率と専門職による比較評価が示されており、組織全体の業務時間の削減を直接測定した結果ではありません。
この研究の面白いところ
利用者ごとのプロンプトだけでなく、成功した修正を基に編集方針そのものも更新する二重構造です。共通の一つの指示文を最適化する方法より、模擬評価で13.56ポイント高い成功率を報告しています。
どこまで分かった？
主な数値評価は292人の模擬利用者によるもので、実際の専門職の評価は20人です。71%は一対比較で選ばれた割合であり、業務上の抽出成功率74.58%と同じ指標ではありません。長期運用についての結果は要旨にありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル（LLM）は企業の情報抽出（IE）にますます使われているが、そこでは同じ文書でも利用者ごとに異なる形で整理し直す必要がある。しかし既存のプロンプト最適化手法は、全体共通の目的に対して最適化した単一のプロンプトに依存しており、実際の職場に本来存在する利用者の多様性と整合しない。 本研究では、企業向けIEを、やり取りから得られるフィードバックに基づく利用者別のプロンプト適応として定式化し、階層的な枠組みSelf-Meta-Evolveを提案する。この枠組みは利用者ごとに専用のプロンプトを保持し、二重のループで継続的に改善する。内側のループではペルソナに応じたフィードバックに基づいて構造化プロンプトを編集し、外側のループでは成功した編集パターンを抽出することでメタプロンプト自体を進化させる。拡張可能な訓練と評価を可能にするため、模擬的な企業利用者292人からなるペルソナ駆動のIEベンチマークを、O*NETの職業分類に基づく再現可能なペルソナ生成パイプラインとともに公開する。 このベンチマークでSelf-Meta-Evolveは成功率74.58%を達成し、最も強力なプロンプト最適化の比較手法を13.56パーセントポイント上回った。また、わずか2回の反復で52.54%に達した。実際の専門職20人を対象とした二重盲検の人による評価でも、本枠組みで適応させたプロンプトは、静的な比較手法との一対比較の71%で優位と評価された。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Large language models (LLMs) are increasingly deployed for enterprise information extraction (IE), where the same document must be reorganized differently for each user. Existing prompt optimization methods, however, rely on a single prompt optimized against a global objective, which is misaligned with the inherent user heterogeneity of real workplaces. We formulate enterprise IE as per-user prompt adaptation under interaction feedback and propose Self-Meta-Evolve, a hierarchical framework that maintains a dedicated prompt for each user and continuously refines it through a dual-loop process: an inner loop that edits structured prompts based on persona-conditioned feedback, and an outer loop that evolves the meta-prompt itself by distilling successful editing patterns. To enable scalable training and evaluation, we release a persona-driven IE benchmark of 292 simulated enterprise users, paired with a reproducible persona-generation pipeline grounded in O*NET occupational taxonomies. On this benchmark, Self-Meta-Evolve achieves a 74.58% success rate, outperforming the strongest prompt-optimization baseline by 13.56 absolute points, and reaches 52.54\% within only two iterations. A double-blind human study with twenty real professionals further confirms that prompts adapted by our framework win against static baselines in 71% of pairwise comparisons.
著者のコメント
16 pages, 4 figures, Findings of AACL-IJCNLP 2026
arXiv ID: 2609.21626 ／ 要約の誤りについて