会話中のLLMの人物設定のずれを指示で抑える方法を比較
Prompting Against Persona Drift: Comparing Intervention Timing and Content in LLM-Simulated Conversations
この論文をやさしく読む
ひとことで言うと
LLMに学生役で長く会話させると、最初の設定から行動がずれていくことがあります。そのずれを抑えるため、設定を入れ直す時点と内容を変えて比較した研究です。
何に役立つ？
教育システムを模擬会話で評価する際に、人物設定を保つためのプロンプト設計の参考になります。実際の学生やADHDのある人への介入効果を調べた研究ではありません。
この研究の面白いところ
監視の役割を、介入時点の選択と修正内容の選択に分けています。適応的な時点の優位性は確認できない一方、行動に即した指示ではドリフト発生率の大きな低下を報告しています。
どこまで分かった？
ドリフトはLLMによる評価に基づき、どの介入でも消えていません。87%はモデル推定の発生率の低下で、一貫性の絶対的な達成率ではありません。行動別指示のどの構成要素が効いたかは追加検証が必要です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル（LLM）で学生の人物像を模擬することで、教育システムの評価を大規模に実施できる。しかし、長い会話では、人物設定との一貫性が徐々に低下する行動のドリフトが起こり、こうした模擬評価の妥当性を制限する可能性がある。本研究では、監視と介入を別の処理系に分け、プロンプト段階の5つの仕組みを評価する。 4種類のLLMと、ADHDの人物設定の強さ2段階にわたる、各28ターン、合計1,200件の会話を対象に、いつ介入するか（固定時点か適応的か）と、何を挿入するか（設定の再挿入か省察を促す注意喚起か）を変化させた。さらに、監視役が行動に特化した指示を生成する、新たな適応的条件も検討した。 介入しない場合と比べ、LLMが評価するドリフトのモデル推定発生率は、再挿入で35～38%、省察を促す注意喚起で22～27%、行動に特化した指示で87%低下した。いずれもドリフトを完全にはなくさなかった。適応的な介入時点が固定スケジュールを上回るという証拠は得られなかった。したがって、監視は、いつ介入するかを決めるよりも、何を修正するかを決めるために有用と考えられる。ただし、行動に特化した指示については、構成要素ごとの検証が必要である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Simulating student personas with large language models (LLMs) enables scalable evaluation of educational systems. However, behavioral drift, a progressive decline in persona consistency, can emerge over extended conversations, limiting the validity of such simulations. We evaluate five prompt-level mechanisms using separate monitoring and intervention pipelines. Across 1,200 28-turn conversations spanning four LLMs and two ADHD persona intensities, we varied when to intervene (static vs. adaptive) and what to inject (reinjection vs. reflective reminder), plus a novel adaptive condition in which a monitor generates behavior-specific instructions. Relative to no intervention, reinjection reduced the modeled rate of LLM-rated drift by 35--38\%, reflective reminders by 22--27\%, and behavior-specific instruction by 87\%. None eliminated drift. We found no evidence that adaptive timing outperformed static scheduling. Monitoring therefore appears more useful for deciding \textit{what} to correct than \textit{when} to intervene, although behavior-specific instruction requires component-level testing.
arXiv ID: 2609.24532 ／ 要約の誤りについて