文章の語彙と文法の特徴からChatGPT利用を判別できるか
Detecting GPT-Assisted Writing Using Interpretable Stylometric Features
この論文をやさしく読む
ひとことで言うと
提出された文章の語彙や文法だけを使って、ChatGPTの支援を受けた文章かどうかを分類する実験です。
何に役立つ？
何を手掛かりに判定したかを説明できる文章分類の研究に役立ちます。文章だけから得られる情報の識別力と誤りの両方を数値で確認できます。
この研究の面白いところ
同じ人が独力と支援ありの両条件で書き、検証時には参加者単位でデータをまとめています。判定への寄与もSHAPで分析しています。
どこまで分かった？
90人のデータによる結果です。独力の文章を支援ありと誤判定する偽陽性率は22.2％であり、F1が0.84でも個々の文章の執筆方法を確定できるわけではありません。他の集団や文章条件への一般化結果は要旨にありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
学生の文章がGPTの支援を受けて書かれたものか、独力で書かれたものかを区別することは、教育・研究の場で重要な課題となっている。本論文では、提出された文章だけから抽出する、解釈可能な文体計量上の特徴の識別能力を評価する。独力の場合とChatGPTの支援を受ける場合の両方で文章を書いた90人の参加者のデータを用い、検証時には同じ参加者のデータが分かれないようにして、8種類の機械学習分類器を評価した。 学習から除外したテスト集合では、Random ForestがROC-AUC 0.87、F1スコア0.84を達成し、偽陽性率と偽陰性率はそれぞれ22.2％、11.1％だった。SHAPによる解析は、語彙と文法の特徴が予測を左右していることを示す。これらの結果は、透明性のある、文章そのものに内在する特徴が、GPTの支援を受けた文章を検出するための測定可能な手掛かりを与えることを示唆する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 掲載先の記載あり
著者による掲載先の記載：Hawaii International Conference on System Sciences (HICSS), 2027。出版社での独立確認は未実施です。
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Distinguishing GPT-assisted from independently authored student writing has become a critical challenge in academia. This paper evaluates the discriminative capability of interpretable stylometric features extracted solely from submitted text. Using data from 90 participants who wrote both independently and with ChatGPT assistance, we evaluate eight machine learning classifiers while keeping data from the same participant together during validation. On the held-out test set, Random Forest achieved an ROC-AUC of 0.87 and an F1-score of 0.84, with False Positive and False Negative rates of 22.2% and 11.1%, respectively. SHAP analysis shows that lexical and grammatical characteristics drive the resulting predictions. The findings suggest that transparent, text-intrinsic features provide measurable signal for detecting GPT-assisted writing.
著者のコメント
10 pages, 6 figures, 5 tables
arXiv ID: 2609.26687 ／ 要約の誤りについて