Chọn tuyến GPT-6.2 theo chi phí của công việc được nghiệm thu
Giá token của Astra và Sol chỉ là điểm đầu. Thử lại, người duyệt và hạn giao mới quyết định tuyến xử lý nào tiết kiệm hơn.

OpenAI công bố GPT-6.2 Astra và Sol ngày 17/11, định vị lần lượt cho dự án khó và công việc thường ngày. Thông báo chính thức đặt ra câu hỏi thực tế: nhiệm vụ nào nên giao cho mô hình nào? Giá trên một triệu token, hay lựa chọn mặc định mô hình mạnh hơn, đều chưa đủ để trả lời.
Điều cần so sánh là tổng chi phí cho mỗi sản phẩm được nghiệm thu, dưới cùng yêu cầu chất lượng và thời hạn. Bản nháp ban đầu rẻ nhưng cần sửa nhiều có thể chỉ chuyển chi phí sang người duyệt. Lời gọi đắt hơn mà không cải thiện kết quả sử dụng được cũng có thể không cần thiết.
Giá lời gọi không phải giá bàn giao
Với văn bản ngữ cảnh ngắn ở mức Standard, trang Sol niêm yết 2 USD cho một triệu token đầu vào và 10 USD đầu ra. Trang Astra ghi 8 USD và 40 USD. Đây là đơn vị tính phí, không phải giá cố định cho một nhiệm vụ. Độ dài đầu vào, đầu ra và số lần thử lại làm thay đổi hóa đơn.
Giữ điều kiện tính phí cố định rồi đo sử dụng thực tế. Tài liệu giá API phân biệt bộ nhớ đệm, cấp xử lý và điều kiện ngữ cảnh. Không so xử lý nền được giảm giá của một mô hình với xử lý tức thời của mô hình khác. Phép tính dưới đây chỉ dùng giá văn bản Standard, ngữ cảnh ngắn, không có cache; không suy ra hạn mức thuê bao.
Chỉ số nội bộ có thể lấy chi phí mô hình và công cụ của cả nhóm nhiệm vụ, cộng chi phí duyệt và làm lại, chia cho số sản phẩm đạt tiêu chí nghiệm thu. Giữ chi phí thất bại, quá hạn, bỏ dở và chuyển mô hình trong tử số. Nếu không sản phẩm nào đạt, tuyến đó chưa khả dụng; không tạo ra một mức trung bình đẹp mắt.
Ví dụ hoàn toàn giả định
Các số sau không phải hiệu năng đo được của Astra hay Sol. Giả sử cùng 100 nhiệm vụ rủi ro thấp có tiêu chí nghiệm thu giống nhau, mỗi nhiệm vụ phải hoàn tất trong 30 phút. Cả hai tuyến giao 95 kết quả đạt và đáp ứng cùng ngưỡng dung sai lỗi đặt trước. Chi phí của năm nhiệm vụ thất bại vẫn được tính. Thời gian con người được định giá 1 USD/phút, gồm duyệt, chỉnh sửa và xử lý thất bại.
Để tính đơn giản, giả sử mỗi lời gọi dùng 10.000 token đầu vào và 2.000 token đầu ra tính phí, gồm token suy luận khi áp dụng, không cache và không phí công cụ. Khi đó Sol tốn 0,04 USD/lần, Astra 0,16 USD/lần. Lần thử lại thực tế có thể mang lịch sử dài hơn; ví dụ cố ý đơn giản hóa điều này.
- Tuyến Sol: 100 lời gọi đầu và 20 lần thử lại tốn 4,80 USD. Công sức con người là 300 phút, tức 300 USD. Tổng 304,80 USD, khoảng 3,21 USD cho mỗi sản phẩm trong 95 sản phẩm được chấp nhận.
- Tuyến Astra: 100 lời gọi đầu và năm lần thử lại tốn 16,80 USD. Công sức con người là 190 phút, tức 190 USD. Tổng 206,80 USD, khoảng 2,18 USD cho mỗi sản phẩm được chấp nhận.
Theo giả định này, Astra tốn thêm 12 USD suy luận nhưng tiết kiệm 110 phút công, nên tổng chi phí thấp hơn. Điều đó không chứng minh Astra luôn rẻ hơn. Nếu thời gian con người bằng nhau, Sol sẽ tiết kiệm hơn. Với định giá lao động đã giả định, Astra chỉ cần tiết kiệm hơn 12 phút để bù phần phí mô hình tăng thêm. Hãy thay giả định bằng quan sát, không dùng ví dụ làm bằng chứng mua sắm.
Định giá lao động không đồng nghĩa tiết kiệm tiền mặt. Giảm thời gian duyệt có thể giải phóng năng lực mà không giảm bảng lương. Báo cáo tài chính cần tách năng lực thu hồi được khỏi khoản thanh toán thực sự tránh được.
Benchmark giúp đặt câu hỏi, không thay nghiệm thu
Phương pháp FrontierCode 2.0 của Cognition chấm điểm có trọng số, cho điểm không nếu không qua tiêu chí chặn, và báo chi phí API trung bình mỗi lượt chạy. Điểm đó không phải tỷ lệ nghiệm thu để đưa thẳng vào công thức; chi phí lượt chạy cũng không gồm người duyệt.
Bảng xếp hạng chính thức hướng đến việc người bảo trì có chấp nhận hợp nhất mã hay không. Góc nhìn này hữu ích, nhưng đánh giá mã không xác lập thứ hạng tương tự cho báo cáo, email bán hàng hay kho mã riêng của doanh nghiệp. Bài viết không suy rộng chênh lệch điểm do nhà cung cấp công bố thành lợi ích doanh nghiệp, cũng không mặc định hai mô hình có chất lượng ngang nhau.
Xây dựng mẫu nhỏ phân tầng theo loại nhiệm vụ: định dạng có quy tắc rõ, tổng hợp cần xác minh nguồn và thay đổi nhiều mô-đun nên được tính riêng. Giấu tên mô hình với người duyệt, giữ nguyên quy tắc nghiệm thu, ghi tỷ lệ đạt lần đầu, số lần thử lại, thời gian sửa và lỗi phát hiện sau giao. Lặp lại các đợt để kiểm tra ưu thế có bền vững hay chỉ do mẫu nhỏ.
Quy tắc định tuyến cần tính cả chuyển cấp và dừng
Một chính sách đáng thử là để Sol bắt đầu công việc có phạm vi rõ, có thể hoàn tác, rồi chuyển cấp khi có tín hiệu kiểm chứng được: kiểm thử thất bại, thiếu nguồn bắt buộc hoặc chạm giới hạn làm lại. Chuyển cho Astra nhiệm vụ gốc, dữ kiện đã xác minh và nguyên nhân thất bại, không chỉ bản nháp dở thiếu bối cảnh.
“Rẻ trước, nâng cấp sau” không tự động tiết kiệm. Phí đã chi, thời gian chuẩn bị bàn giao và lần đọc ngữ cảnh thứ hai đều thuộc cùng nhiệm vụ. Nếu một loại việc thường phải chuyển cấp, giao thẳng Astra có thể hợp lý hơn. Chi phí phân loại của bộ định tuyến và phân tuyến sai cũng phải tính.
So sánh ba tuyến hoàn chỉnh: Sol trực tiếp, Astra trực tiếp, và Sol rồi chuyển cấp theo quy tắc. Dùng cùng hạn giao, quyền công cụ và ngưỡng chất lượng. Xem phân bố độ trễ bàn giao, không chỉ thời gian phản hồi trung bình. Câu trả lời tốt nhưng quá hạn không phải hoàn thành đúng hạn. Lỗi nghiêm trọng phát hiện sau đó phải làm đảo ngược nghiệm thu trước và bổ sung chi phí sửa.
Phân tích này dành cho công việc rủi ro thấp, có thể duyệt; không bao gồm kết luận y tế hay pháp lý, giao dịch tài chính, hành động nghiệp vụ không thể đảo ngược hoặc kiểm thử bảo mật. Định tuyến không thay sự phê duyệt cần thiết của con người. Chỉ giữ quy tắc giải thích được loại việc nào tiết kiệm và đáng tin cậy hơn trong điều kiện nào, rồi kiểm chứng lại khi mô hình, giá hay cơ cấu công việc thay đổi.
Nội dung chỉ cung cấp thông tin, không cấu thành tư vấn đầu tư, pháp lý, thuế hoặc tài chính.