arXiv論文メモ
新着一覧
cs.HC / cs.AI · 査読状況未確認

プログラミング授業のAI支援で教え方と文脈把握が学生に与える影響

Guardrails or Roadblocks? Effects of Pedagogical Style and Context Awareness in AI Teaching Assistants for Programming

Madeleine Eastwood, Harshith Narne, Joseph Hilby, Paul Denny, Ashish Aggarwal, Amanpreet Kapoor

この論文をやさしく読む

ひとことで言うと

プログラミング授業で使うAI TAについて、質問で導くか直接教えるか、学生の解答を把握するかによる体験の違いを調べた研究。

何に役立つ?

授業用AI支援ツールを設計する際、教育上の制約や文脈把握が学生の支援感や利用行動にどう関わるかを検討する材料になる。

この研究の面白いところ

問題と解答をすべて把握したソクラテス式のAI TAは、課題完了への支援感が有意に低かった。外部LLMの利用などにも不利な傾向があったが、その差は有意ではなかった。

どこまで分かった?

対象は初級プログラミング授業の学生132人と三つの課題である。支援感の差以外に挙げた傾向は統計的に有意ではなく、学習効果の確定的な差として解釈できない。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

大規模言語モデルと教育上の制約を備えたAIティーチングアシスタント(AI TA)は、プログラミング授業に取り入れられつつあり、ヒント、概念の説明、コードに即したフィードバックへ多くの学生がアクセスできるようにする。しかし、制約は使いにくさも生み得る。支援が過度に厳しい、あるいは学習の進み具合に合っていないと学生が感じれば、認められたツールを避けて汎用LLMを使うかもしれない。AI TAの設計が学習体験にどう影響するかを調べるため、初級プログラミング授業の学生132人を対象にランダム化比較試験を行った。学生はコード作成とデバッグに関する三つの課題を実施し、教育的な指導様式(ソクラテス式か直接指導か)と文脈把握(文脈なし、または問題と学生の解答をすべて把握)の二軸で異なる四種類のAI TAのいずれかに無作為に割り当てられた。学生の認識、対話行動、課題後の理解を示す証拠を調べた。 文脈を完全に把握したソクラテス式AI TAの評価が最も低く、課題完了への支援を感じる度合いが有意に低かった。記述的には、この条件で対話中のストレスの観測値が最も高く、外部LLMの利用率も最も高く、課題後の説明から十分な理解が読み取れる割合が最も低かった。ただし、これらの差は統計的には有意ではなかった。この結果は、制約を設けたAI TAが学習にとって自動的に優れたものになるわけではないことを示唆する。効果は、教育的な指導と文脈把握を、学生が有用で支えになり、使い続ける価値があると感じる形でどう釣り合わせるかに左右される。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-24(UTC)
最新改訂
2026-09-24 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

AI teaching assistants (AI TAs) backed by large language models (LLMs) and pedagogical guardrails are increasingly being integrated into programming courses, providing students with scalable access to hints, conceptual explanations, and code-level feedback. However, guardrails may also create friction. If students feel that the support provided is overly restrictive or poorly contextualized to their current progress, they may bypass approved tools for general-purpose LLMs. To investigate how AI TA design affects students' learning experiences, we conducted a randomized controlled trial with 132 students in an introductory programming course. Students completed three tasks related to code-writing and debugging and were randomly assigned to one of four AI TAs varied across two dimensions: pedagogical guidance style (Socratic vs. Direct instruction) and context awareness (no context vs. full context of the problem and student solution). We examined students' perceptions, interaction behaviors, and evidence of post-task comprehension. Students rated the Socratic AI TA with full context least favorably, reporting significantly lower perceived support for task completion. Descriptively, this condition also showed the highest observed interaction stress, the highest rate of external LLM use, and the lowest proportion of post-task explanations demonstrating full comprehension, though these differences were not statistically significant. These findings suggest that guardrailed AI TAs are not automatically better for learning. Instead, their effectiveness depends on how pedagogical guidance and contextual awareness are balanced in ways that students experience as useful, supportive, and worth continuing to use.

arXiv ID: 2609.29995 / 要約の誤りについて