StudentSim và bài học sau lời gợi ý

Bài StudentSim ngày 12/10 của Microsoft dẫn nghiên cứu so đáp án của học sinh mô phỏng sau hướng dẫn với đáp án đúng; chuyên gia cờ vua chấm gia sư.

Những diễn giải và đề xuất dưới đây là phân tích riêng của OMN. Câu hỏi phát triển là liệu một học sinh mô phỏng có giúp chọn bài dạy khiến người học thật tiến bộ hơn vào ngày mai hay không. Niềm tin đó cần cơ sở khác với việc thấy một cuộc đối thoại trong lớp nghe rất thuyết phục.

Bài toán tiếp theo mới quan trọng

Hãy hình dung hai gợi ý cho cùng một đáp án sai. Một gợi ý gần như cung cấp bước còn thiếu. Gợi ý kia yêu cầu học sinh giải thích lựa chọn trước đó. Cả hai đều có thể phù hợp. Nếu cả hai đều giúp sửa đúng, nhà phát triển vẫn phải quyết định giữ lại cách nào. Khác biệt quyết định có thể chỉ xuất hiện ở một bài toán mới, khi gợi ý đã biến mất. Bộ mô phỏng luôn thưởng cho cách sửa sai nhanh nhất có thể chọn nhầm bài dạy.

Một thí nghiệm toán học trước đây ghi nhận điểm thi tự làm thấp hơn nhóm đối chứng sau khi luyện với GPT-4 không hạn chế; biện pháp bảo vệ giảm phần lớn tổn thất.

Suy luận của chúng tôi nói về ưu tiên phát triển, không dự báo rằng mọi gia sư AI đều gây hại cho việc học: cần phân biệt hoàn thành bài tập này với chuẩn bị cho bài tiếp theo. Tương tác chậm hơn có thể đáng giữ nếu xây dựng khả năng tự làm. Tương tự, bắt người học vật lộn lâu hơn tự nó không phải thành tích. Kết quả ở nhiệm vụ sau nên phân xử tranh luận.

Giao cho bộ mô phỏng một lựa chọn

Một thử nghiệm Tutor CoPilot riêng biệt ghi nhận mức nắm vững chủ đề ngay sau bài học cao hơn khi gia sư là người được dùng AI hỗ trợ.

Vì vậy, với chương trình mới dựa vào bộ mô phỏng, chúng tôi sẽ giữ phương án có giáo viên hỗ trợ trong nhóm so sánh. Nếu không, nhóm phát triển có nguy cơ dùng toàn bộ ngân sách nghiên cứu để chọn giữa các biến thể tự động, mà không hỏi liệu cách phân chia công việc khác có hữu ích hơn không. Cần đo cả thời gian của giáo viên, gồm thời gian sửa hoặc điều chỉnh đề xuất, thay vì coi đó là đầu vào vô hình.

Thí nghiệm được đề xuất bắt đầu bằng một nhóm nhỏ các cách dạy được chủ ý chọn cho đa dạng: sửa trực tiếp, bài giải mẫu, hỏi về lập luận của người học và cho họ cơ hội thử lại. Trước khi có bất kỳ kết quả lớp học nào, nhà phát triển sẽ chốt lựa chọn mà bộ mô phỏng ưu tiên cho từng khó khăn ban đầu. Sau đó, một nghiên cứu với người thật đã được phê duyệt phù hợp sẽ phân ngẫu nhiên các cách dạy, giữ thời lượng giảng dạy tương đương và đánh giá bài toán mới không có hỗ trợ sau một khoảng chờ định trước.

Kết quả cần tìm là sự nhất quán về lựa chọn. Khi mô phỏng ưu tiên một cách giúp đỡ hơn cách khác, người học thật có hưởng lợi từ chính lựa chọn đó về sau không? Hãy công bố cả trường hợp thứ tự đảo ngược lẫn trường hợp trùng khớp. Báo cáo độ bất định cho từng so sánh và giữ lại các trường hợp chưa thể kết luận. Một vài lần trùng khớp thành công không chứng minh được mô hình học tập phổ quát; việc liên tục đảo ngược thứ tự sẽ là lý do cụ thể để ngừng dùng bộ mô phỏng cho những quyết định ấy.

Thay đổi những gì được xây dựng

Cách làm này cũng sẽ đổi danh sách việc cần phát triển cho sản phẩm. Thay vì chỉ yêu cầu đối thoại học sinh chân thực hơn, nhóm có thể xác định quyết định cụ thể nào chưa thể diễn tập đáng tin cậy. Chẳng hạn, mô phỏng có thể phân biệt lời giải thích hữu ích với lời giải thích không liên quan, nhưng chưa chọn được nên tiết lộ bao nhiêu trợ giúp. Trong tình huống giả định đó, hãy dùng nó để lọc nội dung không liên quan, còn mức độ gợi ý dành cho nghiên cứu tiếp. Thành công có phạm vi giới hạn vẫn có giá trị.

Cũng cần theo dõi những bài dạy bị loại. Bộ mô phỏng có thể liên tục bỏ qua chiến lược giúp người học mang một hiểu lầm ban đầu cụ thể. Thất bại ấy sẽ chìm trong điểm trung bình của gia sư. Giữ lại các phương án bị từ chối giúp phát hiện liệu quá trình tối ưu có đang thu hẹp chương trình quanh những điểm mù của bộ mô phỏng hay không.

Sức hấp dẫn thương mại của học sinh mô phỏng có điều kiện: chúng có thể giúp dành nguồn lực nghiên cứu với người thật cho những bất đồng quan trọng. Đó là lý do phát triển thuyết phục hơn việc chỉ tạo thêm hội thoại luyện tập. Cột mốc có ý nghĩa sẽ là ít lựa chọn dạy học sai hơn, cùng bằng chứng rằng học sinh làm được nhiều hơn sau khi gia sư lùi lại.