生の文章のエントロピー率で反復学習による多様性低下を抑える
No Model Required: Text Entropy Rate Filtering Mitigates Iterative Fine-Tuning Collapse
この論文をやさしく読む
ひとことで言うと
AIが作った文章で学習を繰り返すと表現が単調になる問題に対し、文章の繰り返し方から情報量を見積もり、学習データを選ぶ方法です。
何に役立つ？
モデル内部の確率を取得できなくても、生の文章から多様性の低下を調べ、学習データを絞る方法として役立ちます。複数エージェントへの応用は示唆される用途です。
この研究の面白いところ
フィルタリングのための別モデルを使わず、部分文字列の一致長から推定する量が、モデルの対数確率を使う比較手法より多様性を改善しています。
どこまで分かった？
6世代の微調整実験はLlama-3.1-8Bを使う完全合成・単一系譜の設定です。改善は文章の多様性に関する指標で、すべての能力や正確性の維持を示す結果ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
合成データで反復して微調整すると、モデル崩壊が起こる。まれなパターンが徐々に失われて出力の多様性が狭まり、その兆候は句レベルの反復に最もよく現れる。既存の緩和策は、モデルの対数確率、外部のオラクル、または人間が作成した実データへの継続的なアクセスのいずれかを必要とする。ここでは、数学的な情報理論に基づく新たな方法を開発する。一致長の統計量を使い、いかなるモデルも用いず、生の文章だけから計算するノンパラメトリックなKontoyiannisのエントロピー率推定量h_kを用いる。 完全に合成データのみを使い、単一の系譜で微調整する設定では、これが文章の多様性の指標において、実際により優れた学習データのフィルターになることを示す。Llama-3.1-8Bで6世代にわたってQLoRAによる崩壊実験を行ったところ、モデルへのアクセスを必要とする最も確立されたベースラインである対数確率に基づくフィルタリングは、どの指標でも文章の多様性に有意な効果を示さなかった（p＞0.23）。一方、h_kによるフィルタリングでは、異なるトライグラムが42％増え、語彙が30％増え、反復が19％減った。いずれもp＜0.001である。 4分野、2つの温度、2組の生成モデルと採点モデル、計1,520件の生成文書を通じて、h_kが分野をまたぐエントロピーの代理指標（β＝0.924、R²＝0.746）として、また崩壊の検出器（ρ＝＋0.454、p＜0.0001）として機能することを検証する。結果は、崩壊の緩和に対する情報理論的な方法が効率的であることを示し、複数エージェントの多様性を維持する新たな方法を示唆する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01（UTC）
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Iterative fine-tuning on synthetic data causes \emph{model collapse}: output diversity narrows as rare patterns are progressively lost, a signature most visible as phrase-level repetition. Existing mitigations either require model log-probabilities, an external oracle, or continued access to real human data. Here we develop a new approach grounded in mathematical information theory: the non-parametric Kontoyiannis entropy rate estimator $h_k$, computed entirely from raw text via match-length statistics, with no model of any kind. We show that this is in fact a \emph{superior} training-data filter on text-diversity metrics in a fully-synthetic, single-lineage fine-tuning setting. In a six-generation QLoRA collapse experiment on Llama-3.1-8B, logprob-based filtering (the most established model-access-requiring baseline) provides no significant text-diversity benefit on any metric ($p > 0.23$), whereas $h_k$-filtering yields $+42\%$ unique trigrams, $+30\%$ vocabulary, and $-19\%$ repetition (all $p < 0.001$). We validate $h_k$ as a cross-domain entropy proxy ($\beta = 0.924$, $R^2 = 0.746$) and collapse detector ($\rho = +0.454$, $p < 0.0001$) across 4~domains, 2~temperatures, 2~generator--scorer model pairs, and 1{,}520 generated documents. Our results demonstrate that information theoretic approaches to collapse mitigation are efficient, and suggest new approaches for maintaining multi-agent diversity.
著者のコメント
17 pages, 8 figures, NeurIPS 2026
arXiv ID: 2610.01493 ／ 要約の誤りについて