AI khoa học cần vượt qua phép thử sửa đổi

Deep Review đã ra mắt. Với các tổ chức mua công cụ AI khoa học, câu hỏi khó hơn là điều gì xảy ra sau khi tác giả nhận phản biện. Một chất vấn có vẻ hợp lý có thể dẫn đến sửa chữa đúng, viết lại vô ích hoặc một sai sót mới. Đánh giá hữu ích cần theo dõi toàn bộ quá trình ấy.

Phân biệt đối tượng đo lường

Một bản tiền ấn phẩm ngày 8/10 thử hệ thống phản biện bằng mâu thuẫn cài vào, đồng thời lưu ý lỗi nhân tạo có thể dễ phát hiện hơn.

Một nghiên cứu ICLR trước đây nhận thấy các bản phản biện đã sửa được chọn rõ hơn và giàu thông tin hơn khi đánh giá mù.

Một tiền ấn phẩm ICML tháng 9 đo tác động của phân bổ chính sách: gần như không đổi quyết định nhận bài, nhưng nhiều người tự báo cáo vi phạm.

Đó là các đối tượng đo khác nhau: lỗi được phát hiện, bản phản biện được cải thiện và can thiệp của tổ chức. Không nên ngầm thay chúng cho kết quả phòng thí nghiệm thực sự cần: những luận điểm quan trọng của bản thảo được chứng cứ hỗ trợ tốt hơn sau sửa đổi. Phép thử tiếp theo mà chúng tôi đề xuất bắt đầu từ đó.

Theo dõi thay đổi và cả chi phí

Hãy hình dung một bản thảo nói rằng phương pháp có hiệu quả trong nhiều điều kiện. Công cụ AI hỏi liệu một điều kiện đã được kiểm nghiệm chưa. Tác giả có thể làm thêm thí nghiệm, thu hẹp luận điểm cho phù hợp với chứng cứ sẵn có, hoặc phát hiện phép thử ấy đã được trình bày. Ba phản ứng có giá trị khoa học khác nhau, dù người dùng đều có thể đánh giá tích cực.

Quá trình đánh giá cần giữ lại luận điểm ban đầu, chất vấn cụ thể, phản hồi của tác giả và tài liệu chứng minh sau sửa đổi. Một người đánh giá khác sẽ xác định luận điểm đã vững hơn, chỉ rõ hơn, bị thu hẹp thiếu căn cứ hay trở nên sai. Bất đồng chính đáng cần được giữ ở trạng thái chưa giải quyết cho đến khi có chứng cứ liên quan. Câu trả lời trau chuốt không nên tự động khép lại vấn đề.

Cũng cần tính công sức bỏ ra. Một chất vấn mất cả buổi chiều để bác bỏ tiêu tốn thời gian nghiên cứu quý giá. Yêu cầu thí nghiệm mới có cơ sở có thể tốn kém nhưng vẫn đáng làm. Hãy báo cáo các cải thiện đã xác nhận cùng giờ làm của tác giả, chi phí tính toán và lỗi quan trọng còn tồn tại. Gộp mọi thứ thành một điểm số quá sớm sẽ che khuất những đánh đổi riêng của từng phòng thí nghiệm.

Tạo điều kiện so sánh công bằng

Một thử nghiệm khả thi có thể phân bổ ngẫu nhiên các bản thảo đủ điều kiện vào nhóm được hỗ trợ sửa đổi thông thường hoặc nhóm có thêm phản hồi AI, với sự đồng ý của tác giả và biện pháp bảo mật phù hợp. Hai nhóm cần cùng khoảng thời gian sửa đổi. Người đánh giá xem bản cuối mà không biết nhóm được hỗ trợ ra sao, rồi so sánh thay đổi từ từng bản ban đầu.

Cần xác định kết quả chính trước khi dữ liệu xuất hiện. Chẳng hạn, tỷ lệ bản thảo có cải thiện được xác minh ở luận điểm quan trọng mà không phát sinh lỗi quan trọng mới. Chỉ số phụ nên cho thấy tần suất lời khuyên hữu ích bị bỏ qua, lời khuyên sai được làm theo và phản hồi không tạo thay đổi. Báo cáo phải gồm tất cả bản thảo được phân nhóm, kể cả tác giả không dùng công cụ, đồng thời mô tả riêng mức sử dụng thực tế.

Điều quan trọng là tỷ lệ được nhận đăng cao hơn trả lời một câu hỏi khác. Nơi xuất bản có thể coi trọng tính phù hợp, cách trình bày hoặc tính mới; riêng quyết định đó không chứng minh thí nghiệm có thể tái lập. Tương tự, sửa thành công một định lý nói lên rất ít về lĩnh vực khác có yêu cầu chứng cứ khác. Quyết định triển khai cần nằm trong phạm vi công việc và quy trình đã được thử nghiệm.

Giữ đường quay lại

Lịch sử sửa đổi cần cho phép hoàn tác thay đổi gây hại. Nếu tác giả đổi giả định để đáp ứng chất vấn tự động, hệ thống nên giữ phát biểu trước đó và lý do sửa. Nếu kiểm tra sau này bác bỏ chất vấn ấy, các kết luận bị ảnh hưởng cần được xem lại. Đây là nguyên tắc vận hành chúng tôi đề xuất, không phải khẳng định sản phẩm được nêu tên đã có chức năng này.

Cơ hội thương mại là đáng kể: công cụ giúp nhà nghiên cứu đi tới bản sửa đổi có cơ sở sẽ có chỗ trong công việc nghiêm túc. Vì vậy, câu hỏi mua sắm nên cụ thể. Khi đã đọc ý kiến và sửa xong, luận điểm quan trọng nào tốt hơn, điều gì còn chưa chắc chắn và cái giá của cải thiện là bao nhiêu?