arXiv論文メモ
新着一覧
cs.CL · 査読状況未確認

顧客対応AIで単一モデルと専門モデルを比較

Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs

Md Tahmid Rahman Laskar, Xue-Yong Fu, Shashi Bhushan TN

この論文をやさしく読む

ひとことで言うと

顧客対応の複数業務に、専門モデルと一つの多課題モデルのどちらが向くかを比較した。

何に役立つ?

顧客対応用の言語モデルを微調整・配置する方法を選ぶ参考になる。

この研究の面白いところ

固定した学習手順で200超のモデル状態を比べ、多課題の全パラメータ微調整が全サイズで最も強い標準選択だった。

どこまで分かった?

結果は五系列13モデルと八つのデータセット、固定した学習手順での比較である。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

実運用の顧客対応システムでは、言語モデルに意図の分類、質問応答、要約、道具を使うかの判断など、複数の技能が求められる。導入時の中心的な問いは、技能ごとに専門モデルを使うか、多課題学習、順次更新、モデル統合で学んだ単一モデルを使うかである。本研究はQwen3、Qwen3.5、Gemma-3、Llama-3.1、Mistralの五系列に属する、パラメータ数6億~320億の13モデルを使って調べた。顧客対応のデータセット八つは公開四つと非公開四つからなり、学習用約7万4,500件、評価用約8,700件を含む。学習手順を固定して200を超えるチェックポイントを学習した。実験では、多課題の全パラメータ微調整が、試したすべてのモデルサイズで運用上の最も強い標準選択となった。専門モデルは対象の課題で強いが、それ以外の課題では性能が大きく落ちることが多く、確かな振り分けが重要になる。順次LoRAは順次の全パラメータ微調整より前の技能を保ちやすい。一方、大きなモデルでは、専門モデルを基盤モデルと統合すると、対象課題の損失を小さく抑えて、対象外の課題への頑健性を改善した。最後に、実運用で微調整方法を選ぶための指針を示す。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-23(UTC)
最新改訂
2026-09-23 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Production customer-support systems often require LLMs to support multiple skills, such as intent classification, question answering, summarization, or tool-use decisions. A central deployment question is whether these skills should be handled by separate task-specialist models or by a single model trained through multi-task training, sequential updates, or model merging. We study this question using thirteen models spanning five families (Qwen3, Qwen3.5, Gemma-3, Llama-3.1, and Mistral) from 0.6B to 32B parameters across eight customer-support datasets, spanning four public and four proprietary datasets with approximately 74.5k training and 8.7k evaluation samples. Under a fixed training protocol, we train more than 200 checkpoints. Our experiments reveal that multi-task full fine-tuning is the strongest operational default at every model size we test. Specialist models are strong on their target tasks but often degrade sharply off-task, making reliable routing important. Sequential Low-Rank Adaptation (LoRA) preserves earlier skills better than sequential full fine-tuning, while merging a specialist with its base model improves off-task robustness with limited same-task loss for larger models. We conclude with practical guidelines for selecting fine-tuning strategies in real-world settings.

arXiv ID: 2609.27262 / 要約の誤りについて