Chuyển việc giữa các AI cần người chấm độc lập

Bên mua hệ thống chuyển giao công việc giữa các AI nên dành một phần ngân sách kiểm tra cho những nhiệm vụ không bao giờ được chuyển đi. Nếu không, hệ thống quyết định trường hợp nào cần trợ giúp cũng quyết định trường hợp nào được xem xét. Open Market Notes đề xuất phép thử mua sắm tách riêng hai quyết định đó.

Hai nghiên cứu về định tuyến xuất hiện trong danh sách arXiv ngày 16/10/2026. Danh sách

LEASH dùng độ bất định để chuyển giao tác vụ máy tính và tiếp tục giám sát. Nghiên cứu

Một nghiên cứu khác học định tuyến từ bất đồng giữa các mô hình, không cần nhãn đáp án chuẩn. Nghiên cứu

Cả hai bản tiền công bố được nộp ngày 15/10. Thí nghiệm dưới đây là đề xuất độc lập, không phải tái lập đánh giá của họ hay khẳng định hệ thống nào đã vượt qua thử nghiệm của khách hàng.

Tạo phép so sánh mà bộ định tuyến không được chọn

Hãy hình dung một nhà phân phối văn phòng phẩm thử trợ lý soạn hướng dẫn trả hàng. Mô hình chi phí thấp xử lý yêu cầu thông thường; một mô hình khác sẵn sàng hỗ trợ trường hợp khó. Trước thí điểm, nhà phân phối tạo tập hồ sơ đã giải quyết với nội dung cố định, gồm chính sách áp dụng, dữ liệu sản phẩm và kết quả cuối cùng. Người đánh giá không tham gia xây dựng bộ định tuyến xác định kết quả chấp nhận được, kể cả trường hợp cần con người phán đoán.

Cho hai mô hình xử lý riêng cùng các hồ sơ trong môi trường thử nghiệm cô lập. Không để chúng thấy câu trả lời của nhau. Đây là bài kiểm tra, không phải quyền phát hành nhãn trả hàng hay liên hệ khách hàng. Giữ cố định phiên bản mô hình, tài liệu nguồn và quy tắc chấm. Nếu đầu ra thay đổi giữa các lần chạy, cần thử lặp lại.

Chỉ để minh họa, giả sử một bài thử có kết quả xác định gồm 200 trường hợp tạo ra bốn nhóm: cả hai đúng ở 140 trường hợp; chỉ mô hình thứ hai đúng ở 35; chỉ mô hình thứ nhất đúng ở 10; cả hai sai ở 15. Như vậy, mô hình đầu thành công 150 trường hợp, mô hình sau đạt 175. Một bộ chọn bất khả thi, biết trước đáp án, có thể đạt 185. Những số liệu giả định này không mô tả bất kỳ mô hình đã công bố nào.

Mục tiêu thực tế là khoảng cách giữa bộ định tuyến được triển khai và các phương án được chấm riêng này. Tỷ lệ chuyển giao tự nó không cho biết khoản chi thêm đã đi vào nhóm nào. Hãy công bố bốn nhóm trước khi gom kết quả thành một tỷ lệ thành công.

Kiểm tra những hồ sơ lặng lẽ ở lại

Sau khi cố định bộ định tuyến, lấy mẫu từ cả hàng đợi giữ lại và hàng đợi chuyển giao. Chọn mẫu kiểm tra độc lập với điểm tự tin của bộ định tuyến. Nếu không, lỗi được đưa ra một cách tự tin có thể nằm ngoài phạm vi đo lường. Nếu chủ ý lấy nhiều mẫu hơn ở nhóm khó, hãy tính lại trọng số tổng thể theo khối lượng công việc thực và báo cáo riêng từng nhóm.

Thêm một hồ sơ cố tình thiếu dữ liệu: bỏ mã sản phẩm cần thiết để xác định chính sách trả hàng. Kết quả chấp nhận được là yêu cầu bổ sung thông tin. Câu trả lời trôi chảy từ bất kỳ mô hình nào cũng phải bị đánh trượt ở trường hợp này. Đây là phép kiểm tra yêu cầu mua sắm chúng tôi đề xuất: tính toán thêm không được âm thầm thay thế bằng chứng chưa có.

Cũng cần có các trường hợp mà câu trả lời đầu tiên đã đạt yêu cầu. Ghi nhận việc chuyển giao giữ nguyên kết quả đúng, bổ sung chi tiết bắt buộc hay tạo lỗi mới. Người đánh giá cần dùng cùng tiêu chí nghiệm thu, bất kể thương hiệu, giá hay thứ tự của mô hình trong quy trình.

Theo dõi chi phí ngoài suy luận

Sổ chi phí thí điểm cần các cột riêng cho phí mô hình, chi phí định tuyến, xét duyệt của con người, những lần thử lại và hồ sơ trả hàng phải mở lại. Tính tổng chi phí quy trình trên mỗi trường hợp được nghiệm thu, đồng thời báo cáo rõ các trường hợp chưa giải quyết hoặc bị bỏ dở. Hóa đơn mô hình giảm chỉ có giá trị nếu phần còn lại của quy trình không tiêu hết khoản tiết kiệm.

Chi phí kiểm tra cũng thuộc thiết kế này. Khách hàng có thể hợp lý khi cho rằng lấy một mẫu nhỏ, độc lập và thường xuyên sẽ rẻ hơn kiểm tra mọi đầu ra. Lựa chọn đó vẫn cần ngưỡng sai sót và người chịu trách nhiệm cụ thể. Bài viết không đưa ra tỷ lệ lấy mẫu chung; hậu quả, sản lượng và mức biến động quan sát được sẽ quyết định tỷ lệ phù hợp.

Giữ bằng chứng có giá trị sau cập nhật

Giữ một tập kiểm thử niêm phong chưa được dùng để điều chỉnh ngưỡng định tuyến. Trước khi đổi một trong hai mô hình hoặc chính sách trả hàng, chạy lại phép so sánh và xem trường hợp nào chuyển nhóm. Nhà cung cấp không nên được điểm cao hơn chỉ vì phép thử đã được sửa sau khi lỗi lộ ra.

Câu hỏi mua sắm rất cụ thể: nhà cung cấp có thể đưa ra kết quả được đánh giá độc lập cho công việc ở lại với mô hình rẻ hơn, công việc được chuyển đi và công việc cả hai không hoàn thành được không? Định tuyến có thể giúp phân bổ tài nguyên tính toán. Khách hàng vẫn cần kiểm soát bằng chứng dùng để đánh giá cách phân bổ ấy.