AI chống lừa đảo cần một ngân sách chú ý

Gemma chống lừa đảo vẫn chờ triển khai. Câu hỏi hữu ích cho giai đoạn tiếp theo là hệ thống bảo vệ đòi hỏi người dùng dành bao nhiêu sự chú ý và đem lại điều gì. Đây là khung đánh giá do chúng tôi đề xuất, không phải báo cáo hiệu suất đo được của mô hình.

Bắt đầu từ mẫu số

Giả sử một thử nghiệm có 10.000 cuộc hội thoại, trong đó 100 cuộc là lừa đảo. Bộ phát hiện nhận ra 90% cuộc lừa đảo và cảnh báo nhầm 1% cuộc hội thoại hợp lệ sẽ tạo ra 90 cảnh báo đúng và 99 cảnh báo sai. Chỉ khoảng 47,6% trong tổng số 189 cảnh báo thực sự xác định lừa đảo. Mười cuộc lừa đảo vẫn lọt qua.

Các con số chỉ nhằm minh họa, không phải ước tính cho Gemma hay bất kỳ dịch vụ đang triển khai nào. Chúng cho thấy tỷ lệ phát hiện cao tự nó không cho biết người dùng nên tin một cảnh báo đến mức nào. Tỷ trọng lừa đảo trong tập dữ liệu thử nghiệm cũng quan trọng. Một tập tin nhắn đã bị nghi ngờ và hộp thư thông thường có thể đem lại trải nghiệm rất khác nhau, ngay cả khi tỷ lệ sai giống hệt nhau.

Từ đó hình thành một ngân sách chú ý. Mỗi lần gián đoạn không cần thiết đều tốn thời gian và có thể khiến cảnh báo tiếp theo dễ bị bỏ qua hơn. Ngược lại, giảm cảnh báo quá mức có thể để những cuộc hội thoại nguy hiểm tiếp diễn mà không bị chất vấn. Đánh giá đáng tin cậy phải thể hiện cả hai chi phí thay vì chọn chỉ số đẹp hơn.

Tách riêng các quyết định

Tài liệu hiện hành của ScamShield cung cấp một điểm tham chiếu độc lập. Chức năng kiểm tra hoạt động mà không cần bật quyền chặn cuộc gọi hoặc lọc SMS. Hướng dẫn mô tả việc tự động báo cáo người gửi nội dung có xác suất lừa đảo cao hoặc nội dung rác, quảng cáo. Những tài liệu này mô tả chức năng ScamShield hiện có; chúng không xác lập cách triển khai một tích hợp mô hình riêng biệt.

Bài học phân tích là kiểm tra, cảnh báo, báo cáo và chặn cần có quy tắc quyết định riêng. Một người có thể muốn nhận lời nhắc riêng tư để tạm dừng, nhưng muốn được giải thích rõ hơn trước khi thông tin được gửi đi hoặc người gửi không còn liên lạc được. Gộp các bước vào một công tắc bảo vệ duy nhất sẽ khiến cả đánh giá lẫn sự đồng ý khó diễn giải hơn.

Vì vậy, thử nghiệm sản phẩm nên trả lời bốn câu hỏi: nội dung nào được kiểm tra, điều gì được hiển thị, thông tin nào rời thiết bị và hành động nào làm thay đổi cuộc hội thoại? Mỗi câu trả lời cần hồ sơ riêng. Tổng số cảnh báo không thể trả lời cả bốn.

Đo lường sự can thiệp

Bộ chỉ số hữu ích đầu tiên cần báo cáo cảnh báo đúng, cảnh báo sai và lừa đảo bị bỏ sót với mẫu số được định nghĩa rõ. Kết quả nên phân tách theo ngôn ngữ và tình huống, đồng thời thể hiện độ bất định khi mẫu nhỏ. Người đánh giá cũng cần định nghĩa khi nào một cuộc hội thoại dài được tính là một sự kiện, để cảnh báo lặp lại không thổi phồng mức bảo vệ.

Bộ chỉ số thứ hai cần theo dõi điều xảy ra sau cảnh báo. Người dùng có hiểu không? Họ có dừng đủ lâu để xác minh độc lập không? Họ có thể bỏ qua cảnh báo sai và tiếp tục trao đổi hợp lệ không? Đây là những phép thử được đề xuất, không phải tính năng đã được công bố hay thiếu sót đã được xác nhận của mô hình.

Quan trọng nhất, phát hiện lừa đảo và ngăn được thiệt hại là hai kết quả khác nhau. Muốn quy thiệt hại tránh được cho một tính năng, cần có bằng chứng về điều sẽ xảy ra nếu không có can thiệp. Số cảnh báo đơn thuần không cung cấp được tình huống đối chứng ấy. Thiết bị im lặng cũng không nên được trình bày như bằng chứng mọi cuộc hội thoại đều an toàn.

Thu thập bằng chứng vừa đủ

Đánh giá không nhất thiết phải thu thập mọi cuộc hội thoại riêng tư. Chương trình thử nghiệm có giới hạn có thể kết hợp mẫu được đồng ý cho xem xét, tình huống tổng hợp được ghi nhãn rõ và chỉ số tổng hợp bảo vệ quyền riêng tư. Giới hạn vẫn cần được nêu rõ: thử nghiệm trong phòng thí nghiệm tự nó không chứng minh thiệt hại ngoài đời đã giảm.

Cột mốc gần hạn đáng theo dõi là bản công bố giải thích vì sao sự can thiệp xứng đáng với chú ý của người dùng: tập người dùng, sự đánh đổi giữa các loại lỗi, ranh giới hành động và cách đo lợi ích. Bằng chứng đó sẽ khiến thông báo triển khai tiếp theo có giá trị hơn việc chỉ tăng số tin nhắn được quét.