学習者らしい誤りを含む作文を合成して自動採点に使う
Error-Supervised Synthetic Learner Writing for Automated Essay Scoring
この論文をやさしく読む
ひとことで言うと
整いすぎたAI作文だけで採点器を訓練するのではなく、学習者がしそうな文法の誤りも生成させて、訓練データを実際の作文へ近づける研究です。
何に役立つ？
人間の作文データを十分集められない場合の、採点器用データの補充に役立つことが考えられます。ただし、非常に少数の訓練例でも安定して有効だとは示されていません。
この研究の面白いところ
誤りを単にランダムに混ぜるのではなく、誤り注釈付きの文章から生成モデルを学習させます。採点性能だけでなく、生成された誤りの分布も調べています。
どこまで分かった？
11／12という結果は比較的データ量が多い設定でのものです。200件で優位性が目立ち始めても、すべてのデータセットで一貫した改善は得られていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
合成作文は、自動作文採点（AES）で人間が書いたデータへの依存を減らすのに役立つ。しかし、合成作文には現実的な誤りが欠けていることが多く、人間の実際の文章を表す能力が限られる。特に、言語学習者の文章に似せることを目指す場合に問題となる。 本研究では、合成作文の生成に誤りの教師信号を導入する単純な手法を示す。具体的には、文法誤り検出（GED）で一般に使われるような、誤りが注釈された文章で生成用の大規模言語モデルをファインチューニングする。提案手法の有用性を評価するため、実際の作文、従来の方法で生成した合成作文、提案手法で生成した合成作文という3つのデータ条件でAES採点器をファインチューニングし、評価する。 結果として、データ量が比較的多い設定では、提案手法はデータセットと評価指標の12通りの比較中11通りで従来の合成データのベースラインを上回り、一部では実際の作文で訓練したモデルに近い性能となった。ただし、極端にデータが少ない設定での成績は依然として一様ではない。従来法に対する優位性がより明確になるのは訓練作文が200件になってからだが、それもデータセット全体で一貫しているわけではない。定性的・定量的な分析はさらに、提案手法が学習者らしい誤りを生成し、その分布がおおむね実際の作文で観測されるものに似ていることを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Synthetic essays can help reduce dependence on human-written data in Automated Essay Scoring (AES). However, they often lack realistic errors, limiting their ability to represent authentic human writing, particularly when the target texts are intended to resemble those produced by language learners. In this study, we present a simple approach that introduces error supervision into synthetic essay generation. Specifically, we fine-tune an LLM generator on error-annotated texts of the kind commonly used in Grammatical Error Detection (GED). To assess the utility of the proposed approach, we fine-tune and evaluate AES scorers under three data conditions: authentic essays, synthetic essays generated conventionally, and synthetic essays generated using our proposed approach. The results show that in the larger-data settings, the proposed approach outperforms the conventional synthetic baseline in 11 out of 12 dataset-metric comparisons, with performance in some cases approaching that of models trained on authentic essays. Despite these gains, performance under extremely low-resource settings remains mixed, with advantages over the conventional baseline only becoming more apparent at 200 training essays, although not consistently across datasets. Qualitative and quantitative analyses further show that the proposed approach produces learner-like errors whose distributions broadly resemble those observed in authentic essays.
著者のコメント
17 pages, 1 figure, 9 tables
arXiv ID: 2609.23573 ／ 要約の誤りについて