心の悩みへのAI応答は追加学習で一様に改善するか
Aligning with Lived Experience: Heterogeneous Benefits of Fine Tuning in Mental Health Support Generation
この論文をやさしく読む
ひとことで言うと
相談コミュニティの応答でAIを追加学習すると、相談者が求める支援に近づく一方、集団や支援の種類によって改善に偏りが出るという研究です。
何に役立つ？
相談支援の応答を評価する際に、平均的な性能だけでなく、コミュニティ別や対処方略別の偏りを確認するために役立ちます。
この研究の面白いところ
整合性が上がる一方で、問題解決型の助言が増え、感情への対処が減るという分布の変化も報告しています。追加学習の利点と偏りを同時に見ています。
どこまで分かった？
測定されたのは応答とコミュニティの視点との整合性であり、症状改善などの臨床効果ではありません。50％超は汎用モデルの対処方略整合性の改善についての値で、すべての集団や評価軸の改善率ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
専門的なメンタルヘルスケアへのアクセスが依然として限られるなか、多くの人がRedditのようなオンラインプラットフォームで、人間の実体験に根ざした仲間同士の支援を求めている。しかし、こうした相談のかなりの部分には回答が付かず、大規模言語モデル（LLM）でこの不足を補う余地がある。LLMは臨床ベンチマークで高い性能を示してきた一方、実体験を踏まえ、コミュニティの考え方に沿ったピアサポートを生成できるかは、十分に研究されていない。 この不足に対応するため、COmmunity-centered Peer Engaged Support（COPES）データセットと、メンタルヘルス支援を求める相談に対するLLMの応答がコミュニティの視点にどの程度合うかを評価する三軸の枠組みを導入する。ゼロショットモデルと、教師あり微調整（SFT）および直接選好最適化（DPO）による追加学習後のモデルを評価したところ、COPESによる追加学習は、対処方略の整合性を大きく改善し、汎用モデルでは50％を超える改善を示した。また、感情と語調の整合性も改善した。 ただし、こうした改善は一様ではなく、サブレディットや求められる対処方略によって大きく異なることも観察された。さらに、追加学習は応答の分布を変化させ、問題に焦点を当てた助言を強く優先する一方、感情に焦点を当てた対処方略を抑制した。以上から、コミュニティ主導のデータを整備することはLLM応答の整合性を改善するものの、異なる下位コミュニティや具体的なメンタルヘルスのニーズの間で、モデルの性能に格差が残ることが示される。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
As access to professional mental healthcare remains limited, many individuals turn to online platforms such as Reddit to seek peer support situated within human lived experience. However, a significant portion of such queries go unanswered, presenting an opportunity for using Large Language Models (LLMs) to fill this gap. While LLMs have demonstrated strong performance on clinical benchmarks, their ability to generate lived-experience informed and community-aligned peer support is underexplored. Addressing this gap, we introduce the COmmunity-centered Peer Engaged Support (COPES) dataset and a three-axis evaluation framework to assess LLM alignment with community perspectives to mental health support seeking queries. Evaluating zero-shot and post-trained (SFT and DPO) models, we show that post-training on COPES significantly improves Strategy Alignment (>50% for general-purpose models) and alignment in Emotion & Tone. However, we also observe that such improvements are heterogeneous and alignment improvements vary significantly across subreddits and requested coping strategies. Furthermore, post-training induces distributional shifts, heavily favoring problem-focused recommendations while suppressing emotion-focused strategies. Together, this work shows that while curating community-driven data improves the alignment of LLM responses, model performance remains disparate across distinct sub-communities and specific mental health needs.
著者のコメント
25 pages, 6 figures, 17 tables
arXiv ID: 2609.21075 ／ 要約の誤りについて