教育対話の行動ラベルを検証できる形で付けるEduBehaviors
EduBehaviors: Assertion-based Schemas for Auditable Coding of Educational Dialogues
この論文をやさしく読む
ひとことで言うと
教育対話の発話を、観察できる行動を経由して分類し、ラベルの根拠をたどりやすくする方法。
何に役立つ？
授業の対話データを研究者が分類するとき、LLMが出したラベルの理由を行動レベルで確認する助けになる。
この研究の面白いところ
抽象的な教育概念を直接判定させず、先に反復して観察できる行動を測り、その結果から分類器を学ぶ。
どこまで分かった？
性能値はTalkMovesデータセットで教師ラベルを予測した結果。他の教育データで同程度の性能になるかは要旨に示されていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル（LLM）によって、教育学上の関心のある概念に対応する注釈を素早く付けられるようになり、自然言語で対話データの分類を指示できる。しかし、LLMの推論は不透明なため、ある発話に特定のラベルを選んだ理由を、仕組みとして検証する手掛かりがない。そこでEduBehaviorsを提案する。これは教育データへの注釈を、解釈可能かつ大規模に行う枠組みである。LLMを使って、さまざまな概念に関係する、繰り返し観察できる行動を測定し、その観察された行動に基づいて対象の概念を分類するモデルを学習する。 TalkMovesデータセットで教師のTalkMovesラベルを予測して評価した。最良の設定ではマクロF1が0.673、Cohenのκが0.688となり、LLMへ直接質問する方法と競争力のある結果を示した。さらに、研究者が自分のデータでEduBehaviorsを運用できるようにする二つの道具からなるEduBehaviors Toolkitを公開する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Large language models have allowed the rapid deployment of pedagogical annotations corresponding to constructs of interest, allowing a natural language interface for generating classifications on a conversational dataset. However due to the opaque nature of LLM reasoning, we have no verifiable, mechanistic insight into why a model chose a label for an utterance. We introduce the EduBehaviors framework, an interpretable, scalable approach to annotating educational data that uses LLMs to measure repeated observable behaviors relevant to many constructs of interest and then learns a classifier for the construct based on these observable behaviors. We evaluate the framework on the TalkMoves dataset, predicting the Teacher TalkMoves labels. Our best configuration results in a macro-F1 of 0.673 and 0.688 Cohen's kappa, proving competitive with direct prompting approaches. In addition, we release EduBehaviors Toolkit, two tools allowing researchers to operationalize the EduBehaviors framework in their own data.
arXiv ID: 2609.27043 ／ 要約の誤りについて