Khi ChatGPT chậm, OpenAI kiểm chứng bản sửa do Codex đề xuất ra sao?
Codex có thể điều tra sự cố hiệu năng. Điều quan trọng là xác nhận người dùng bị ảnh hưởng đã thực sự thấy dịch vụ phục hồi.

Ngày 19/11, OpenAI giới thiệu Performance Factory, hệ thống nội bộ dùng Codex để điều tra cảnh báo hiệu năng và đề xuất cách sửa. Kỹ sư xem xét thay đổi; sau khi triển khai, một tác nhân khác kiểm tra dịch vụ đã trở về mức cơ sở hay chưa. Công ty cho biết trong hơn ba tháng, quy trình đầu tiên theo dõi hơn 1.700 lượt điều tra và tìm được nguyên nhân của hơn 600 trường hợp. Đây là quy mô hoạt động, không phải số bản sửa đã đưa lên hay mức tăng tốc của toàn bộ ChatGPT. Điểm đáng học là chỉ khép lại khi dữ liệu trên hệ thống thật xác nhận đã phục hồi, không phải khi có người gửi bản sửa.
Người dùng đang chờ ở bước nào?
Phản hồi chậm có thể là màn hình chưa hiện chữ, hoặc câu trả lời lâu mới hoàn tất. Hàng đợi, phần đầu tiên do mô hình sinh và việc hiển thị ảnh hưởng đến đoạn chờ đầu. Độ dài câu trả lời và các lần gọi công cụ còn ảnh hưởng đến đoạn sau. Giả sử một thay đổi giúp hiện chữ sớm hơn nửa giây, nhưng làm các câu trả lời dài có dùng công cụ kết thúc muộn hơn. Chỉ số thứ nhất cải thiện trong khi một số người vẫn thấy chậm. Đây là ví dụ minh họa, không phải kết quả do OpenAI công bố.
Cũng cần biết ai bị ảnh hưởng. Trung vị chung có thể không đổi, trong khi một khu vực hoặc một loại hội thoại chậm hẳn. Hướng dẫn kỹ thuật độ tin cậy của Google giải thích vì sao nên xem phân bố độ trễ và các phân vị cao. Nhưng phân vị chung vẫn có thể cải thiện nếu tỷ trọng câu trả lời ngắn hoặc mô hình nhẹ tăng lên, dù nhóm gặp lỗi chưa phục hồi. Cần so những luồng công việc, cơ cấu lưu lượng và khung thời gian tương đương, sau đó kiểm tra lại đúng nhóm từng bị ảnh hưởng.
Một manh mối cần bằng chứng độc lập
Cảnh báo xuất hiện đúng lúc triển khai là manh mối tốt, chưa đủ để kết luận nguyên nhân. Có thể dùng lưu lượng tương đương trên hai phiên bản và đo từng công đoạn. Ví dụ, chạy lại các yêu cầu đã loại thông tin nhận diện, chỉ thay một cấu hình rồi đo thời gian chờ. Nếu không thể chạy lại, so với lưu lượng ngoài phạm vi thay đổi sẽ giúp kiểm tra khả năng tải chung biến động. Tác nhân có thể gom bằng chứng nhanh, còn kỹ sư phải xem hai điều kiện có đáng so và còn cách giải thích nào khác.
Mẫu chẩn đoán cũng không nhất thiết đại diện toàn bộ người dùng. Theo OpenTelemetry, có thể ưu tiên lưu dấu vết của các yêu cầu lỗi hoặc chậm để định vị vấn đề. Tập dữ liệu đó không thể tự nó cho biết tỷ lệ sự cố chung. Cảnh báo nêu biến động; dấu vết cho biết khâu nào chậm; số liệu đại diện từ hệ thống thật mới cho biết mức độ ảnh hưởng và tình trạng phục hồi. Nếu dùng chung một tập cho cả ba mục đích, thay đổi lấy mẫu có thể bị hiểu nhầm là cải thiện hiệu năng.
Xem xét tiêu chí phục hồi, không chỉ bản sửa
Có thể đưa thay đổi rủi ro thấp vào một phần nhỏ lưu lượng trước. Cần kiểm tra tác vụ tương tự đã nhanh hơn và theo dõi song song lỗi, tài nguyên lẫn vấn đề người dùng nhìn thấy. Nếu bỏ một lượt đọc dữ liệu để giảm thời gian đợi, kỹ sư phải xem kết quả có cũ đi, kiểm tra bắt buộc có bị bỏ qua hay chi phí có dồn sang dịch vụ khác. Nếu các chỉ số mâu thuẫn, người phụ trách có thể dừng mở rộng, giữ đường quay lui và chờ đủ thời gian quan sát trước khi đóng sự cố.
Đánh giá giá trị của quy trình bằng thời gian từ cảnh báo đến chẩn đoán, triển khai và xác nhận phục hồi, so với cách làm trước. Cần tính cả cảnh báo nhầm, vụ việc mở lại và thời gian kỹ sư thẩm định. Nếu điều tra nhanh hơn nhưng hàng chờ đầy bản sửa yếu, điểm nghẽn chỉ chuyển chỗ. Tài liệu công khai chưa định lượng tác động ròng. Bắt đầu với một lỗi hay lặp lại, có thể tái hiện và hoàn tác, sẽ dễ biết tự động hóa thật sự tiết kiệm gì hơn việc áp dụng cho mọi cảnh báo ngay từ đầu.
Nguồn
Nội dung chỉ cung cấp thông tin, không cấu thành tư vấn đầu tư, pháp lý, thuế hoặc tài chính.