Một bộ mã hóa, hai ngân sách sai sót

Phân tích nguyên bản · Ngày 16 tháng 10 năm 2026.

UltraBERT do DMIS phát hành ngày 14/10 tách đầu tiền huấn luyện theo chế độ che token, phục vụ phân loại và truy xuất.

Câu hỏi hữu ích cho doanh nghiệp là họ có thể chịu những sai sót nào. Hệ thống tìm kiếm đưa vào một tài liệu không liên quan sẽ tạo thêm việc. Hệ thống định tuyến loại nhầm đích đến đúng có thể xóa luôn khả năng trả lời chính xác. Hai chi phí này vẫn khác nhau dù cả hai hệ thống bắt đầu từ cùng một họ mô hình.

Luận điểm chính của chúng tôi là không nên hợp nhất cả hàm tổn thất: quy tắc kinh doanh dùng để định giá một sai sót. Nền tảng kỹ thuật chung có thể hấp dẫn, nhưng điều đó không biến một điểm chất lượng trung bình thành mục tiêu triển khai hợp lý. Phép thử rõ nhất là quy trình mà bước phân loại quyết định bước truy xuất được phép nhìn thấy gì.

Sai sót xảy ra trước tìm kiếm

Hãy xét một sản phẩm hỗ trợ khách hàng giả định. Bộ phân loại quyết định trước liệu yêu cầu có cần kho tri thức kỹ thuật không. Sau đó, bộ truy xuất chọn các tài liệu ứng viên cho những yêu cầu được đi tiếp. Trong thiết kế này, bộ phân loại là cổng vào, còn bộ truy xuất lập danh sách ngắn. Cổng có thể bỏ mất một cơ hội mà bên lập danh sách chưa bao giờ được đánh giá.

Giả sử 1.000 yêu cầu thực sự cần kho tri thức đó. Cổng cho qua 900 yêu cầu. Trong số 900 này, bộ truy xuất tìm được tài liệu liên quan trong danh sách ứng viên ở 90% trường hợp. Cả hệ thống thành công với 810 yêu cầu, tức 81% của 1.000 yêu cầu ban đầu. Đây là giả định minh họa, không phải số đo UltraBERT. Phép tính dùng xác suất truy xuất thành công với điều kiện đã qua cổng; nó không giả định các sai sót độc lập.

Bây giờ tăng tỷ lệ truy xuất có điều kiện lên 95% nhưng giữ nguyên cổng. Tổng thành công tăng lên 855. Để so sánh, cho qua 980 yêu cầu và giữ tỷ lệ có điều kiện 90% ban đầu sẽ tạo ra 882 lần thành công. So sánh sau giả định các yêu cầu mới được nhận cũng dễ truy xuất như trước, điều có thể không đúng. Mục đích là chỉ ra điều cần đo: độ khó của những yêu cầu trước đây bị cổng che khuất.

Nhóm chỉ mừng vì chất lượng tìm kiếm trong các yêu cầu được nhận có thể bỏ lỡ khác biệt đó. Cổng chặt hơn có thể khiến hệ thống trông sạch sẽ hơn chỉ vì nó ngừng thử những việc khó. Vì vậy, chúng tôi sẽ báo cáo tỷ lệ tìm được bằng chứng trên tất cả yêu cầu cần bằng chứng, gồm cả những yêu cầu bị loại ở bước trước.

Định giá riêng công việc thừa và công việc bị bỏ sót

Tài liệu scikit-learn mô tả precision và recall theo các ngưỡng quyết định.

Phần mở rộng kinh tế của chúng tôi là chọn cổng theo hậu quả của việc nhận và loại công việc. Một lần nhận nhầm có thể tiêu tốn lượt tìm kiếm, lượt xếp hạng lại và thời gian xem xét. Một lần loại nhầm có thể dẫn tới vụ việc chưa giải quyết, khách liên hệ lại hoặc chuyển cấp không cần thiết. Quyết định không mặc nhiên là nhận nhiều hơn. Điều cần làm là so sánh chi phí biên, thay vì coi hai loại sai sót đáng tránh như nhau.

Chẳng hạn, hãy hình dung một thay đổi ngưỡng gây thêm 200 lượt tìm kiếm không cần thiết nhưng cứu được 20 vụ việc lẽ ra bị bỏ sót. Chi phí tìm kiếm thêm được bù đắp khi giá trị ròng trung bình của việc cứu một vụ, sau khi trừ chi phí xử lý chính vụ đó, vượt mười lần chi phí tăng thêm của một lượt tìm kiếm thừa. Đây là phép tính đơn giản hóa của chúng tôi, không phải dự báo giá. Độ trễ tăng thêm, kết quả tìm kiếm gây hiểu nhầm và lỗi trả lời ở bước sau cũng phải nằm trong so sánh chi phí.

Điều này ảnh hưởng tới cơ chế khuyến khích. Người phụ trách hạ tầng có thể được thưởng vì giảm lượt tìm kiếm, trong khi bộ phận hỗ trợ được đánh giá theo số vụ giải quyết. Cả hai nhóm đều có thể cải thiện bảng chỉ số riêng trong lúc sản phẩm tổng thể kém đi. Bộ mã hóa dùng chung nên giúp thảo luận các mục tiêu cạnh tranh này dễ hơn, thay vì che chúng sau một điểm mô hình.

Truy xuất có giá trị biên khác

Bộ chuẩn nghiên cứu BEIR đánh giá truy xuất trên nhiều nhiệm vụ và lĩnh vực.

Với ví dụ hỗ trợ khách hàng, câu hỏi thương mại hẹp hơn: bước tiếp theo nên nhận bao nhiêu ứng viên hữu ích? Một ứng viên bổ sung có thể khôi phục bằng chứng thiếu, nhưng cũng có thể chiếm sự chú ý hoặc tạo ra yếu tố gây nhiễu có vẻ hợp lý. Giá trị phụ thuộc vào cách hệ thống sau sử dụng nó. Chuyên viên đọc danh sách và hệ thống tự tạo câu trả lời không nhất thiết hưởng lợi từ cùng một độ dài danh sách.

Chúng tôi sẽ định giá thay đổi truy xuất tại điểm bàn giao đó. Đo xem ứng viên thêm vào có thực sự giúp hoàn thành vụ việc không, tạo thêm bao nhiêu công sức xem xét và có đẩy một mục hữu ích hơn ra ngoài không. Giữ một tài liệu liên quan đâu đó trong danh sách dài không tương đương với đặt bằng chứng dùng được ở nơi bước sau sẽ đọc. Điểm tương đồng cao cũng chưa phải quyết định kinh doanh để hành động.

Từ đó xuất hiện hai bài toán tối ưu khác nhau. Bộ phân loại hỏi liệu mở một đường đi có đáng chi phí kỳ vọng không. Bộ truy xuất hỏi bằng chứng bổ sung nào đáng chuyển tiếp. Chúng có thể dùng cách biểu diễn liên quan, nhưng điểm vận hành nên phản ánh các hậu quả khác nhau. Không có lý do chung nào để cùng một mức chọn lọc là tối ưu cho cả hai.

Kiểm tra sự tương tác, không chỉ từng bộ phận

Thử nghiệm chúng tôi đề xuất dùng cùng tập yêu cầu dành riêng để đánh giá trong bốn cấu hình: cổng cũ với tìm kiếm cũ, cổng mới với tìm kiếm cũ, cổng cũ với tìm kiếm mới, và cả hai đều mới. Giữ nguyên kho tri thức bên dưới. Điều này tách lợi ích của từng thay đổi và bộc lộ tương tác mà hai báo cáo kiểm thử riêng có thể bỏ sót.

Hãy gắn nhãn cả yêu cầu bị loại. Nếu không, cổng có thể cải thiện hiệu suất bề ngoài bằng cách bỏ chính các trường hợp cần thiết để đánh giá chi phí của nó. Theo dõi riêng nhóm ít gặp nhưng đắt giá với nhóm phổ biến, dễ xử lý; giữ đủ ví dụ để không biến một kết quả bất thường thành kết luận rộng.

Nền tảng chung còn đặt ra câu hỏi về điểm yếu trùng nhau. Nếu cổng và bộ truy xuất bỏ lỡ cùng kiểu diễn đạt, bước thứ hai có thể khó cứu vãn. Đây là giả thuyết cần kiểm tra, không phải khẳng định về bản phát hành này. Xem sự trùng lặp thực tế giữa các thất bại, thay vì giả định hai lượt gọi mô hình tạo ra hai cơ hội độc lập.

Cơ hội nằm ở việc tái sử dụng công sức kỹ thuật tốt hơn. Ràng buộc là một thao tác tiết kiệm được và một câu trả lời bị mất có giá trị khác nhau. Doanh nghiệp có thể hợp nhất hệ thống mô hình mà vẫn giữ ngân sách sai sót riêng cho việc mở đường tìm kiếm và việc chọn bằng chứng đi trên con đường đó.