VI
← Tất cả bài viết

OpenAI công bố tỷ lệ giảm từ 54% xuống 0,2%: phép thử đo điều gì?

Con số chỉ nói về một phép thử bảo vệ quá trình suy luận. Vận hành thật còn phải đo bỏ sót, chặn nhầm và công rà soát.

Chuyên mụcAI tiên phongTác giảOpen Market NotesLoạiBài viết
Tài liệu vẽ tay đặt cạnh chiếc khiên mang dấu kiểm màu đỏ.

Ngày 20/11, OpenAI công bố kết quả thử nghiệm biện pháp hạn chế chưng cất mô hình trái phép. Với phép thử kiểm tra việc lộ suy luận được bảo vệ của lượt hội thoại trước, tỷ lệ tiết lộ trung bình là 54,0% trên GPT-6 Astra với biện pháp cũ và 0,2% trên GPT-6.2 Astra với biện pháp mới. Chưng cất là dùng đầu ra của một mô hình để hỗ trợ huấn luyện mô hình khác, không mặc nhiên là lạm dụng. Phép thử đo việc thông tin cụ thể có lộ hay không, không đo tần suất sự cố API thật hay chứng minh mô hình khác đã được huấn luyện hoặc sao chép. Thẻ hệ thống GPT-6.2 ngày 17/11 bổ sung bối cảnh phát hành; đó vẫn là tài liệu của OpenAI, không phải xác minh độc lập.

Chưa tách được đóng góp của từng thay đổi

Cả mô hình lẫn biện pháp bảo vệ đều đổi, nên hai con số không cho biết cải thiện đến từ đâu. Nếu có thể, cần so hai biện pháp trên cùng phiên bản rồi kiểm tra bằng bộ mẫu được giữ riêng. Nếu không thể so khớp, nên nói rõ giới hạn. Số lượng quan sát, cách lấy trung bình, cách xử lý mẫu lặp và khoảng bất định khi kết quả hiếm cũng ảnh hưởng đến cách đọc 0,2%.

Trung bình có thể che chỗ lỗi tập trung. Một phiên bản chỉ yếu trong hội thoại dài vẫn có thể đạt tỷ lệ thấp nếu tập thử gồm nhiều hội thoại ngắn. Ứng dụng có phiên dài sẽ gặp điều kiện khác. Có thể công bố kết quả tổng hợp theo độ dài, ngôn ngữ và tính năng, đánh dấu nhóm chưa đủ mẫu. Người đánh giá độc lập có thể kiểm tra phạm vi, phiên bản, ngân sách và phương pháp trong phạm vi được phép, không cần công khai chi tiết giúp tái hiện hành vi lạm dụng.

Ghi cả công việc hợp lệ bị chặn nhầm

Nhóm hỗ trợ có thể dùng cùng một định dạng để tóm tắt hàng loạt yêu cầu. Sự lặp lại bình thường với công việc đó. Nếu cơ chế bảo vệ chặn nhầm, nhân viên phải gửi lại hoặc xử lý tay. Cần đo tỷ lệ hoàn thành tác vụ hợp lệ, tỷ lệ chặn nhầm và thời gian khôi phục. Việc chặn một thao tác, chuyển sang người rà soát và tạm hạn chế tài khoản có chi phí khác nhau, không nên gom thành một loại thành công.

Hướng dẫn quản trị rủi ro AI của NIST khuyến nghị ghi bộ thử, cách đo và xem riêng nhóm lỗi đắt giá. Nhóm ứng dụng có thể giữ một tập tác vụ thông thường không chứa dữ liệu nhạy cảm để so giữa phiên bản; nhóm rủi ro duy trì phép đánh giá phòng vệ được phép riêng. Đọc hai kết quả trong cùng đợt xét phát hành giúp biết giảm bỏ sót có kéo theo chặn nhầm quá mức hay không.

Dữ liệu vận hành cần cách đo riêng

Thử nghiệm giúp so bản phát hành, không thể thay tỷ lệ sự cố thật. Cơ cấu yêu cầu, cấu hình và phiên bản trong thực tế khác với phòng thử. Nhóm vận hành nên lưu hồ sơ đã loại thông tin nhận diện và được rà soát, tách cảnh báo chưa xác nhận với sự cố có bằng chứng, ghi phạm vi và thời gian xử lý. Cảnh báo tăng có thể do lưu lượng, thay đổi phát hiện hoặc sự cố thật tăng. Không thể chọn nguyên nhân chỉ từ số lượng cảnh báo.

Số liệu của OpenAI cho thấy tiến bộ trong một tình huống kiểm soát. Muốn giải thích mức bảo vệ người dùng thực nhận, cần nêu phạm vi đã kiểm tra, tác động lên tác vụ hợp lệ và bằng chứng vận hành. Nêu rõ phiên bản và phần chưa biết có ích hơn giữ lại một tỷ lệ duy nhất.

Nguồn

Nội dung chỉ cung cấp thông tin, không cấu thành tư vấn đầu tư, pháp lý, thuế hoặc tài chính.