Tăng tốc nghiên cứu AI là bài toán nút thắt, không phải phép quy đổi nhân sự

Đánh giá ngày 5/11 của METR về nghiên cứu và phát triển AI tại Anthropic hữu ích cho việc lập kế hoạch, nhưng không phải một hệ số để điền vào bảng nhân sự. Đó là nghiên cứu về một tổ chức cụ thể. Muốn suy ra rằng nhóm khác có thể giảm một nửa nhân sự hoặc thời gian giao việc, cần có bằng chứng về quy trình của chính nhóm đó.

Sản phẩm cuối cùng của nghiên cứu không phải là số câu lệnh, dòng mã hay hồ sơ thí nghiệm. Đó là những phát hiện đáng tin cậy làm thay đổi bước tiếp theo. Vì thế, câu hỏi vận hành không chỉ là nhà nghiên cứu làm việc nhanh hơn bao nhiêu, mà là tổ chức có thể đưa ra quyết định tốt, đã được kiểm chứng, sớm hơn đến đâu. Phần dưới là phân tích quản trị, không phải thông tin bổ sung về hoạt động nội bộ của Anthropic.

Ba chiếc đồng hồ khác nhau

Đồng hồ nhiệm vụ đo thời gian viết mã thí nghiệm, xử lý dữ liệu hoặc soạn phân tích. Đồng hồ chu kỳ chạy từ câu hỏi có thể kiểm tra đến kết luận được chấp nhận, bao gồm chờ đợi, thực thi, rà soát và chạy lại. Đồng hồ tiến bộ đo xem kết quả có cải thiện hệ thống hoặc trả lời câu hỏi quan trọng hay không. Cải thiện đồng hồ thứ nhất không tự động cải thiện hai đồng hồ còn lại theo cùng tỷ lệ.

Đề xuất đánh giá tháng 10 của METR tách riêng tiến bộ năng lực, phần đóng góp của AI, nút thắt tương lai và hạn chế phương pháp. Quản lý cũng cần sự phân biệt đó: “hoàn thành nhiều việc hơn” không nên dùng chung một chỉ số với “học được nhiều hơn”.

Xét một ví dụ hoàn toàn giả định: chu kỳ thí nghiệm tuần tự mất mười ngày, gồm bốn ngày triển khai, bốn ngày chờ và chạy, hai ngày kiểm tra. Nếu AI giảm một nửa thời gian triển khai, tổng thời gian còn tám ngày. Đó là giảm 20% thời gian, tương đương tốc độ chu kỳ tăng 1,25 lần, không phải hai lần. Đây không phải số liệu Anthropic, mà là minh họa vì sao không thể áp dụng mức cải thiện của một khâu cho cả chương trình.

Thực tế phức tạp hơn. Các nhóm có thể làm song song, dùng chung hạ tầng hoặc bị một phụ thuộc quan trọng chặn nhiều dự án. Làm song song giúp tận dụng nguồn lực nhưng không xóa mọi hàng đợi. Việc cần làm là vẽ đúng các phụ thuộc trong quy trình, chứ không biến ví dụ trên thành công thức phổ quát.

Nút thắt có thể chuyển chỗ

Nếu triển khai nhanh hơn, nhóm có thể gửi thêm thí nghiệm vào cùng một cụm tính toán. Khi năng lực thực thi không đổi, thời gian chờ có thể tăng. Hoặc nhiều kết quả cùng đổ về một nhóm nhỏ người kiểm tra, khiến điểm nghẽn chuyển từ tạo sản phẩm sang xác định sản phẩm nào đáng tin.

Điều đó không có nghĩa công cụ thất bại. Nó cho thấy cải thiện cục bộ làm thay đổi nơi nguồn lực trở nên khan hiếm. Nhóm chỉ đo lượng mã có thể ăn mừng trong khi thời gian từ câu hỏi đến quyết định gần như không đổi. Ngược lại, số thí nghiệm tăng ít nhưng thiết kế tốt hơn vẫn có thể tạo giá trị lớn hơn.

Báo cáo tháng 11 không xác định được nút thắt thuyết phục có thể ngăn Anthropic tiếp tục tiến bộ nhanh trong ngắn hạn, đồng thời nhấn mạnh sự bất định của nhận định này. Điều đó không chứng minh mọi tổ chức đều dư năng lực tính toán, dữ liệu và nhân lực kiểm tra. Nó cũng không có nghĩa các đầu vào ấy hết quan trọng. Một giới hạn chưa xuất hiện ở quy mô hiện tại có thể trở nên quyết định khi khối lượng công việc tăng.

Với phòng nghiên cứu nhỏ, ưu tiên có thể là lập lịch thí nghiệm, môi trường thực thi có thể tái lập hoặc bộ đánh giá dùng chung. Với nơi khác, đó có thể là thêm tài nguyên tính toán. Đây là các suy luận có điều kiện cho quản trị, không phải mô tả ưu tiên đầu tư của Anthropic.

Lập ngân sách cho bằng chứng đã được chấp nhận

Một thử nghiệm triển khai nên theo dõi đồng thời ba chỉ số: thời gian từ câu hỏi đến kết luận được chấp nhận, tỷ lệ kết quả vượt qua kiểm tra độc lập và tổng chi phí cho mỗi kết quả được chấp nhận. Chi phí phải gồm lần chạy thất bại, suy luận AI, rà soát và làm lại, không chỉ phí thuê trợ lý.

Khái niệm “được chấp nhận” cần ổn định. Nhóm nên quy định giao thức đánh giá trước khi so sánh các giai đoạn, giữ cả kết quả âm tính và ghi lại thay đổi về độ khó, phạm vi nhiệm vụ. Nếu không, chuyển sang nhiều thí nghiệm dễ có thể trông giống tăng năng suất. Người kiểm tra phải tái dựng được điều đã thử và cơ sở kết luận, không chỉ đọc một bản tóm tắt trôi chảy.

So sánh nên giữ loại câu hỏi và ngưỡng chất lượng tương đối tương đồng. Khi khả thi, mở quyền sử dụng theo từng đợt hoặc đối chiếu các nhiệm vụ tương xứng thay vì chỉ dựa vào cảm nhận hồi tưởng. Thí nghiệm lập trình viên năm 2025 của METR ghi nhận chậm lại trong bối cảnh cụ thể của nó, nhắc rằng sử dụng công cụ và thu được lợi ích là hai biến khác nhau. Kết quả ấy không dự báo mô hình hiện tại và không thể chuyển nguyên xi sang nghiên cứu tiên phong.

Chỉ số cũng phải chấp nhận thất bại có giá trị. Bác bỏ nghiêm ngặt một giả thuyết có thể tránh khoản đầu tư lớn ở vòng sau. Chỉ thưởng kết quả tích cực sẽ khuyến khích né những phép thử quan trọng nhất. Nghiên cứu hữu ích không đồng nghĩa số thí nghiệm trông có vẻ thành công.

Mua khả năng điều chỉnh trước khi khóa kế hoạch

Không cần đặt cược toàn bộ vào tăng tốc hay đình trệ. Nhóm có thể mở rộng công cụ theo giai đoạn, dành nguồn lực cho tái lập và kiểm tra, rồi tăng hạ tầng khi hàng đợi và đầu ra đã kiểm chứng cho thấy nhu cầu. Thay đổi nhân sự khó đảo ngược hơn ngân sách thử nghiệm; chỉ có bằng chứng nhiệm vụ nhanh hơn là chưa đủ.

Mỗi lần rà soát ngân sách nên hỏi bằng chứng nào sẽ đổi khoản phân bổ tiếp theo. Viết mã nhanh hơn nhưng tồn đọng kiểm tra tăng: xem lại năng lực đánh giá. Người kiểm tra rảnh nhưng hàng đợi thực thi dài: xem lịch và tài nguyên tính toán. Đầu ra tăng nhưng quyết định hữu ích không tăng: xem lại cách chọn thí nghiệm. Đây là các nhánh chẩn đoán, không phải lời hứa mọi nút thắt đều được gỡ với chi phí thấp.

Bài học thiết thực nhất từ đánh giá mới là phải đo chính xác hơn. Trợ giúp nhanh hơn có thể rất quan trọng. Giá trị kinh tế xuất hiện khi đường đi tới quyết định đáng tin cậy ngắn lại, và nguồn lực khan hiếm tiếp theo có thể không còn là nguồn lực trước đó.