arXiv論文メモ
新着一覧
cs.HC · 査読状況未確認

AIの文章修正案を採用する理由を書かせる効果

Think Before You Accept: Can Written Justification Reduce Uncritical Uptake of AI Writing Suggestions?

Yan Tao, Jennifer Meyer, Rene F. Kizilcec

この論文をやさしく読む

ひとことで言うと

AIの修正案を使うかどうかの理由を書かせると、学生が誤った提案をそのまま受け入れる割合が下がるかを試しています。

何に役立つ?

授業でAIの文章支援を使う際の課題設計に参考になります。理由を書く操作が、妥当な提案の採用を減らさずに誤った提案の採用を抑えたと報告しています。

この研究の面白いところ

欠陥のある提案の採用率は65%から41%へ下がりましたが、理由を書くこと自体が深い理解を保証するわけではないという質的な結果もあります。

どこまで分かった?

129人による授業内のデータ分析計画書の課題です。長期的な学習成果や他の文章課題への一般化は要旨では評価されていません。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

生成AIは学生に有用なフィードバックを提供できるが、その価値は、どの提案が正確で適切かを判断できるかに左右される。先行研究では、人とAIのやり取りに意図的な手間を設けると、批判的に吟味したうえでの採用を促せることが示されている。しかし、学術的な場面でこうした手間を効果的に導入する方法は明らかでない。本研究では、AIの提案を採用・不採用とする判断の理由を学生に説明させることで、学術的な文章作成における無批判な採用を減らせるかを調べる。 授業内の活動に組み込んだ無作為化実験(N=129)で、学生はデータ分析の計画書を書き、質が混在したAIの修正提案を受け取り、それぞれを採用するか決めた。理由を文章で書くよう求められた学生は、欠陥のある提案を採用する割合が24パーセントポイント低かった(65%に対して41%)。一方、妥当な提案の採用割合は低下しなかった(81%に対して86%)。ただし、テーマ分析からは、理由を書く課題への表面的な取り組みと、メタ認知的な自己点検や専門知識の不足が明らかになった。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-20(UTC)
最新改訂
2026-09-20 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Generative AI can offer students useful feedback, but its value depends on judging which suggestions are accurate and relevant. Prior research shows that strategic friction during human-AI interactions can promote critical uptake, but how to effectively implement such friction in academic contexts remains unclear. We examine whether requiring students to justify decisions to accept or reject AI suggestions can mitigate uncritical uptake in academic writing. In a randomized experiment embedded in a course activity (N=129), students wrote a data analysis proposal, received mixed-quality AI revision suggestions, and decided whether to accept or reject them. Students required to provide written justifications were 24 percentage points less likely to adopt flawed suggestions (65% vs. 41%), with no reduction in acceptance of sound suggestions (81% vs. 86%). However, thematic analysis revealed superficial engagement in the justification task and gaps in metacognitive monitoring and domain knowledge.

arXiv ID: 2609.23936 / 要約の誤りについて