文章生成を検査と修正の閉ループで数値条件に合わせる
A Closed-Loop Control Architecture for Reliable Constraint Satisfaction in LLM Text Generation
この論文をやさしく読む
ひとことで言うと
文章生成AIに一度だけ条件を伝える代わりに、生成後の数値評価と局所修正を繰り返し、目標の読みやすさ指標へ近づける仕組みです。
何に役立つ？
語数や読みやすさのようにコードで判定できる条件を持つ文章生成機能の設計に役立ちます。内容の固有名詞、数値、キーワードが欠けた編集は拒否します。
この研究の面白いところ
4モデルを対象とした単発114件と閉ループ240回の評価で、目標達成率が21.1〜31.6%から92.5〜98.8%になったと報告します。合否の決定を生成モデルでなく決定的なコードへ置く点が特徴です。
どこまで分かった？
改善したのは最適化対象として宣言した計算可能な指標です。人が感じる文章の難しさが検証されたわけではなく、再現率に基づく内容保持も0.92〜0.93で完全ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ソフトウェアシステムは、目標語数や目標とする読みやすさの学年帯など、数値または区間で表現でき、コードで検査できる出力条件を満たす必要がある機能に、大規模言語モデルを組み込むことが増えている。このようなモデルは非決定的であり、型付きインターフェースではなく自然言語の指示によって設定され、指定した要件をおおよそしか満たさない。そのため、一つのプロンプトだけでは目標を確実に満たすことも、元の内容を保持することもできない。 本論文は、この問題に対する閉ループ制御アーキテクチャを提示し、評価する。これは生成、評価、調整、保存、分析の五段階からなる。モデルを呼び出すのは文章の作成と編集だけに限り、決定的なコードが複合的な読みやすさの値を目標帯と比較し、原文のエンティティ、数値、キーワードを落とす編集を拒否し、すべての採否判断を行う。 四つの商用モデルを用いた114件の単発生成と240回の閉ループ実行では、単発プロンプトが目標を満たした割合は21.1～31.6%、閉ループでは92.5～98.8%であった。平均で2回以内の編集で達成され、再現率に基づく忠実度は0.92～0.93であった。両設定に共通する二つのモデルでも、同じ効果が見られた。 制御器は成功判定に使う値そのものを最適化しているため、この結果が示すのは、明示され計算可能な指標に対する再現可能な制御であり、人間にとっての難易度が検証されたということではない。他の場面にも移せる実践は、採用条件をコードとして明示し、モデルを局所的な編集に限定し、すべての編集に内容検査を通過させることである。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Software systems increasingly embed a large language model in features that must satisfy a numeric output constraint, that is, a requirement expressible as a number or an interval and checkable by code, such as a target word count or a target readability grade band. Because such a model is non-deterministic, is configured through natural-language instructions rather than a typed interface, and satisfies a stated requirement only approximately, a single prompt neither reliably meets the target nor preserves the source content. This paper presents and evaluates a closed-loop control architecture for this problem. It has five stages: generate, evaluate, adjust, archive, and analyze. The model is called only to write and to edit text, while deterministic code compares a composite readability value against a target band, rejects any edit that drops source entities, numbers, or keywords, and makes every accept decision. Over 114 single-shot generation jobs and 240 closed-loop runs on four commercial models, single-shot prompting met the target in 21.1 to 31.6 percent of cases and the closed loop in 92.5 to 98.8 percent, within two edit rounds on average and at a recall-based fidelity of 0.92 to 0.93; the two models common to both settings show the same effect. Because the controller optimizes the value on which success is scored, the result establishes reproducible control over a declared, computable metric and not validated human difficulty. The transferable practice is to declare the acceptance condition as code, bound the model to local edits, and gate every edit on a content check.
著者のコメント
ICSEA 2026: The Twenty-First International Conference on Software Engineering Advances
arXiv ID: 2609.19710 ／ 要約の誤りについて