StudentSim、ヒントが消えた後に残る学び

Microsoftの10月12日のStudentSim紹介が示す研究は模擬生徒の指導後の回答を正答と照合し、チェス専門家が教師役を評価する。

以下の解釈と提案はOMN独自の分析である。開発上の問いは、模擬生徒を使って、実際の学習者が翌日もっと自力でできるようになる授業を選べるかどうかだ。もっともらしい教室での会話に感心することとは、異なる根拠が求められる。

次の問題で差が見える

同じ誤答に対する二つのヒントを考えてみよう。一方は、足りない手順をほぼ教える。もう一方は、その前の選択を説明するよう生徒に求める。どちらも適切な場合がある。両方で正しく修正できたとしても、開発者はどちらを残すか決めなければならない。決定的な差が出るのは、ヒントが消え、新しい問題に取り組むときかもしれない。最も速い修正を常に高く評価するシミュレーターは、教え方を選び誤るおそれがある。

先行する数学実験では、制限のないGPT-4での練習後、自力で受ける試験の成績が対照群より低く、安全策がその低下をおおむね抑えた。

ここから導くのは開発の優先順位であり、すべてのAI家庭教師が学習を損なうという予測ではない。目の前の練習を終えることと、次の問題への準備を区別すべきだ。時間のかかるやり取りでも、自立につながるなら残す価値がある。逆に、学習者を長く悩ませること自体は成果ではない。後の課題の結果で判断したい。

シミュレーターに具体的な選択をさせる

別のTutor CoPilot試験は、人間の教師役がAI支援を利用できる場合、授業直後のテーマ習得が改善したと報告している。

そのため、新しいシミュレーター主導の開発では、教師の支援を含む方式も比較対象に残したい。そうしなければ、別の役割分担のほうが有用ではないかと問うことなく、自動化された方式同士の選択に研究予算を使い切るおそれがある。提案の修正や調整に費やす時間を含め、教師の時間も測るべき資源であり、見えない投入にしてはならない。

提案する実験は、意図的に幅を持たせた少数の教え方から始まる。直接の訂正、解答例、学習者の考え方への質問、そして再挑戦の機会だ。教室での結果が出る前に、開発者はそれぞれの初期のつまずきに対するシミュレーターの推奨を固定する。その後、適切な承認を受けた実際の学習者を対象とする研究で教え方を無作為に割り当て、指導時間をそろえ、事前に定めた期間を置いて新しい問題を支援なしで解いてもらう。

見るべき結果は、選択が一致するかどうかである。シミュレーションがある支援を別の支援より高く評価したとき、実際の学習者も後に同じ選択から恩恵を受けるか。一致だけでなく順位の逆転も公表する。比較ごとの不確実性を示し、結論が出ない事例も残す。数例の一致で普遍的な学習モデルが確立するわけではない。逆転が繰り返されれば、その判断にシミュレーターを使うのをやめる具体的な理由となる。

開発するものが変わる

この方法は製品の開発項目も変えるだろう。生徒らしい会話を増やすことだけを求めず、どの具体的な判断をまだ信頼して予行できないのかを特定できる。例えば、役立つ説明と無関係な説明は見分けられても、どこまで助けを明かすべきかは選べないかもしれない。そのような仮定の状況では、無関係な教材の除外に使い、ヒントの分量はさらに研究する。範囲を限定した成功にも価値はある。

採用されなかった授業にも目を向けたい。ある特定の誤解を持つ学習者に役立つ指導法を、シミュレーターが一貫して捨てる可能性がある。その失敗は教師役の平均点の中に埋もれる。却下した選択肢を保存すれば、最適化によってシミュレーターの盲点に合わせてカリキュラムが狭まっていないかを調べられる。

模擬生徒の商業的な魅力には条件がある。実際の学習者を対象とする研究の労力を、重要な意見の相違に振り向ける助けになることだ。単に練習会話を増やすより、開発価値の説明として説得力がある。意味のある節目は、教え方の選択ミスが減り、教師役が退いた後に生徒がより多くを自力でできると示されることだ。