Nhóm đối chứng trong thử nghiệm AI có thật sự không chịu ảnh hưởng của AI?

Một nhân viên không có tài khoản AI vẫn có thể làm việc trong môi trường đã bị AI thay đổi. Đồng nghiệp có thể chuyển sang một bộ hồ sơ đầy đủ hơn, gửi thêm yêu cầu phê duyệt hoặc để lại nhiều tài liệu cần kiểm tra. Vì vậy, doanh nghiệp đánh giá một thử nghiệm tác tử cần thận trọng khi diễn giải chênh lệch giữa người dùng và người không dùng. Được cấp công cụ và chịu tác động của công cụ không có cùng một ranh giới.

Hội thảo của Microsoft Research và CMU được lên lịch ngày 22–23/10/2026, với báo cáo tổng hợp công khai dự kiến sau đó. Đây là thảo luận về đánh giá, chưa phải tiêu chuẩn đã ban hành. Câu hỏi mua sắm trong bài này là làm sao phân biệt hiệu suất tăng ở người có tài khoản với hiệu suất tăng ở tổ chức trả tiền cho những tài khoản ấy.

Trước hết, xem công việc của ai thay đổi

Hãy xét một nhóm tiếp nhận nhà cung cấp giả định. Một số nhân viên được cấp tác tử để sắp xếp tài liệu và chuẩn bị hồ sơ rà soát; những người khác tiếp tục dùng công cụ cũ. Cả hai nhóm đều chuyển hồ sơ tới cùng các chuyên viên. Doanh nghiệp so sánh thời gian chuẩn bị và thấy người dùng tác tử nộp sớm hơn. Đây là thông tin hữu ích về một công đoạn, nhưng chưa xác định tác động đến số hồ sơ nhà cung cấp được phê duyệt.

Sau công đoạn đó có ít nhất hai khả năng. Hồ sơ nhất quán hơn có thể tiết kiệm thời gian cho chuyên viên, giúp cả hai nhóm cùng hưởng lợi. Ngược lại, chuẩn bị nhanh hơn có thể tạo thêm yêu cầu làm rõ và tăng việc cho chuyên viên. Không thể mặc định khả năng nào. Trong ví dụ này, người chưa từng mở tác tử cũng tham gia vào cơ chế làm phát sinh hoặc làm mất đi giá trị của nó.

Hướng dẫn phân tích dữ liệu của J-PAL giải thích rằng tác động lan tỏa xuất hiện khi người không nhận can thiệp vẫn bị ảnh hưởng, có thể làm lệch ước lượng hiệu quả. Ví dụ công sở trên là cách chúng tôi áp dụng vấn đề phương pháp đó, không phải kết quả thực nghiệm của J-PAL hay nhà cung cấp AI nào.

Bởi vậy, hồ sơ triển khai cần phân biệt người có tài khoản, người nhận sản phẩm được AI hỗ trợ và người chịu trách nhiệm về kết quả kinh doanh cuối cùng. Ba vai trò có thể thuộc về những người khác nhau. Nếu coi danh sách mua tài khoản là bản đồ đầy đủ những nhân viên chịu ảnh hưởng, doanh nghiệp có thể bỏ qua chính phần việc quyết định liệu thời gian tiết kiệm khi chuẩn bị có trở thành năng lực hữu ích hay không.

Khoảng cách nhỏ hơn có thể có nhiều cách giải thích

Trong ví dụ giả định này, nếu chuyên viên dùng hồ sơ rõ ràng hơn để cải tiến một biểu mẫu chung, người không dùng tác tử cũng có thể chuẩn bị hồ sơ tốt hơn. Chênh lệch quan sát giữa hai nhóm có thể thu hẹp dù kiến thức hữu ích đã lan rộng. Kết luận tác tử ít giá trị chỉ vì chênh lệch nhỏ sẽ là vội vàng. Ngược lại, chênh lệch lớn có thể phần nào do người tham gia thử nghiệm nhận được hỗ trợ đặc biệt, trong khi những người khác tiếp tục xử lý phần việc khó còn lại.

Đây là các cách giải thích cạnh tranh, không phải chẩn đoán. Đánh giá cần giữ đủ bối cảnh vận hành để phân biệt chúng: biểu mẫu nào thay đổi, ai được hướng dẫn, vụ việc được chuyển giữa nhân viên ra sao và nhiệm vụ rà soát có được phân công lại không. Thiếu hồ sơ đó, một con số rất chính xác vẫn có thể trả lời câu hỏi khác với câu mà lãnh đạo nghĩ mình đã đặt ra.

Cũng cần thận trọng với những người tự nguyện tham gia đầy nhiệt tình. Trải nghiệm của họ có thể cho thấy nhân viên có động lực làm được gì khi có hỗ trợ. Nó không tự động cho biết điều gì xảy ra khi cả bộ phận sử dụng thường xuyên. Mong muốn tham gia, mức sử dụng thực tế và mức tiếp xúc với đầu ra của đồng nghiệp nên được mô tả riêng, thay vì gộp thành một tỷ lệ áp dụng.

Chọn phép so sánh theo quyết định cần đưa ra

Tài liệu về phân bổ ngẫu nhiên của J-PAL lưu ý rằng phân bổ theo nhóm có thể xử lý tác động lan tỏa trong nhóm, nhưng khi các điều kiện khác không đổi, cần mẫu lớn hơn để đạt năng lực kiểm định tương đương. Đây là sự đánh đổi về thiết kế, không phải giải pháp tự động.

Với bên mua giả định, bước đầu là vẽ bản đồ công việc thực tế. Nếu các đơn vị vận hành có đội rà soát riêng, thử nghiệm theo đơn vị có thể phù hợp hơn so sánh từng tài khoản khi quyết định mua cho cả đơn vị. Nếu mọi đơn vị đều phụ thuộc một nhóm trung tâm, sơ đồ tổ chức không tạo ra các ranh giới độc lập. Chỉ đổi tên phòng ban thành nhóm thử nghiệm sẽ không xóa được ảnh hưởng chung đó.

Quyết định mua cũng xác định điều gì thuộc về can thiệp. Nếu triển khai bao gồm biểu mẫu mới, đào tạo và thay đổi quy trình phê duyệt, doanh nghiệp hoàn toàn có thể muốn biết cả gói có hiệu quả hay không. Khi đó, kết quả phải được mô tả là hiệu quả của gói triển khai, không quy hết cho mô hình. Muốn biết riêng đóng góp tăng thêm của tác tử, cần phép so sánh thực sự tách được những thay đổi ấy.

Đây không phải quy trình thống kê dùng ngay. Tổ chức có ít đơn vị độc lập có thể không thu được ước lượng nhân quả chính xác. Thử nghiệm vận hành giới hạn vẫn có thể làm rõ việc chuyển gánh nặng và trục trặc triển khai. Báo cáo nên nói đã quan sát gì, điều gì chưa xác định, thay vì tạo ra sự chắc chắn chỉ vì ít nhóm liên kết chặt chẽ đã xử lý rất nhiều hồ sơ.

Đếm kết quả nhưng không bỏ qua người ở giữa

Tổng quan xu hướng của SAgE tại Princeton, được tham khảo ngày 23/10/2026, phân biệt đánh giá năng lực, tương tác người–AI và tác động hệ thống. Bằng chứng ở một tầng không tự động xác lập kết quả ở tầng khác.

Cách đọc kinh doanh mà chúng tôi đề xuất là giữ hai góc nhìn liên kết. Một góc theo dõi kết quả sử dụng được, chẳng hạn hồ sơ nhà cung cấp được chấp nhận với yêu cầu chất lượng không đổi. Góc còn lại theo dõi công sức con người: chuẩn bị, làm rõ, rà soát và sửa chữa, kể cả người ngoài nhóm có tài khoản. Nhiều hồ sơ đạt yêu cầu hơn với cùng tổng công sức khác với đầu ra không đổi nhờ chuyển việc cho chuyên viên không được tính đến.

Chất lượng phải hiện diện cùng số lượng. Nếu thử nghiệm chấp nhận bằng chứng yếu hơn hoặc trì hoãn kiểm tra, sản lượng cao hơn có thể bắt nguồn từ quy tắc nghiệm thu mới. Nếu nó cải thiện tính đầy đủ và giảm sửa chữa về sau, lợi ích có thể chỉ xuất hiện sau cửa sổ quan sát ban đầu. Bên mua cần xác định trước những hệ quả nào có thể tiếp tục theo dõi và nêu giới hạn thời gian đó. Thử nghiệm ngắn không giải quyết được khẳng định về độ tin cậy dài hạn.

Cũng không nên coi mọi phút công việc tăng thêm là lãng phí. Chuyên viên có thể mất nhiều thời gian hơn vì tác tử phát hiện vấn đề thực sự trước đây bị bỏ sót. Câu hỏi là công việc bổ sung có phục vụ mục đích đáng giá không, chứ không phải sự tham gia của con người lúc nào cũng phải giảm. Xem lại vụ việc cụ thể có thể giải thích khác biệt mà tổng thời gian không thể hiện.

Kết luận mua sắm phải phù hợp với bằng chứng

Một báo cáo thử nghiệm đáng tin có thể kết luận rằng người tham gia chuẩn bị nhanh hơn, chuyên viên rà soát chịu một thay đổi cụ thể về khối lượng công việc, còn tác động đến đầu ra cuối cùng vẫn chưa rõ. Điều đó hữu ích hơn cho quyết định từng giai đoạn so với gộp cả ba thành một tiêu đề về năng suất. Nó xác định điều thử nghiệm rộng hơn cần giải quyết.

Bên mua cũng nên giữ lại sự bất đồng giữa các vai trò. Khảo sát người dùng tích cực và nhóm rà soát chịu áp lực không phải kết quả mâu thuẫn; chúng có thể mô tả hai phần của cùng quy trình. Chỉ nghe nhóm có tài khoản sẽ ưu tiên lợi ích dễ trình bày, trong khi để chi phí chuyển giao cho những người không chọn công cụ.

Giá trị triển khai tác tử cuối cùng phụ thuộc vào hệ thống công việc mà nó thay đổi. Phép so sánh liên quan không chỉ là ai có quyền đăng nhập, mà là những nhân viên liên kết với nhau và kết quả kinh doanh sẽ ra sao dưới một phương án thay thế đáng tin. Xây dựng phép so sánh ấy đòi hỏi nhiều công sức hơn đếm tài khoản hoạt động, nhưng giúp kết luận mua sắm rõ ràng hơn.