VI
← Tất cả bài viết

Chrome thử tác nhân AI trên web mô phỏng: thế nào mới là một lần thử đạt?

Google công bố môi trường web mô phỏng của Chrome. Hoàn thành tác vụ và giữ đúng phạm vi ủy quyền là hai kết quả cần đo riêng.

Chuyên mụcAI tiên phongTác giảOpen Market NotesLoạiBài viết
Hai cửa sổ trình duyệt vẽ tay hiển thị hai cửa hàng có mái che đỏ, ngăn cách bằng đường nét đứt.

Ngày 19/11, nhóm bảo mật Chrome của Google giới thiệu Mirror Dimension, một môi trường biệt lập gồm hàng nghìn website mô phỏng dùng để đánh giá tính năng duyệt web tự động của Chrome. Các trang này cho phép kiểm tra những chuỗi thao tác như tìm kiếm, lọc kết quả và đăng nhập mà không gửi thao tác tới website thật. Đây là công bố về phương pháp thử của Google, không phải việc mở môi trường này cho công chúng hay công bố tần suất sự cố ngoài thực tế.

Cần đưa tác vụ về cùng một điểm xuất phát

Khi mô hình giải thích các bước thanh toán trong cửa sổ trò chuyện, câu trả lời không cho biết nó sẽ làm gì khi thực sự có thể bấm nút đặt hàng trong một tài khoản đã đăng nhập. Một phép thử hữu ích phải ghi cả lựa chọn của tác nhân và trạng thái mà nó để lại. Nếu lượt trước còn để một món trong giỏ, lượt sau có thể nhận đúng câu lệnh đó nhưng phải quyết định trong điều kiện khác. Chênh lệch giữa hai phiên bản vì thế khó diễn giải.

Môi trường có thể khôi phục trạng thái giúp xác định nguồn sai lệch. Chẳng hạn, khi tác nhân so giá hai sản phẩm, nhóm thử nghiệm có thể giữ nguyên hàng tồn, phí giao hàng và bố cục qua nhiều lần chạy, rồi chỉ đổi một yếu tố. Trên website công khai, hàng có thể hết, giá có thể đổi và giao diện có thể tùy thuộc khu vực, phiên truy cập hay thiết lập trợ năng. Khi các biến số được kiểm soát, nhóm mới có cơ sở để xem lỗi đến từ cách hiểu của mô hình, việc kiểm tra quyền hay cách xử lý giao diện.

Làm xong chưa chắc làm đúng

Giả sử người dùng yêu cầu tổng giá của hai món sau phí giao hàng nhưng không cho phép mua. Báo đúng cả hai mức giá là hoàn thành. Gửi đơn hàng là vượt quyền, kể cả khi giá báo đúng. Dừng hẳn khi thấy lối vào trang thanh toán có thể tránh ảnh hưởng đến tài khoản, nhưng vẫn bỏ dở một yêu cầu tra cứu hợp lệ. Chỉ công bố tỷ lệ hoàn thành sẽ dễ bỏ sót trường hợp thứ hai; chỉ công bố tỷ lệ chặn có thể biến tình huống thứ ba thành một thành tích bảo mật.

Chrome từng mô tả yêu cầu xác nhận ở các bước có hệ quả và một thành phần độc lập đối chiếu thao tác dự kiến với ý định của người dùng. Web mô phỏng là nơi đo hiệu quả của các cơ chế này, không tự nó tạo ra lớp bảo vệ. Báo cáo có ích nên tách tỷ lệ hoàn thành tác vụ hợp lệ, chặn thao tác vượt quyền, chặn nhầm thao tác hợp lệ và yêu cầu xác nhận trước khi hành động có hiệu lực. Cần nói rõ mẫu số là cả tác vụ, số lần thực hiện hay một nhóm thao tác quan trọng. Nếu bộ thử bỏ bớt trường hợp khó, điểm số có thể tăng dù sản phẩm không đổi.

Nhiều mẫu thử không đồng nghĩa với bao phủ rộng

Google cho biết quy trình tạo hơn 1.000 mẫu thử tiềm năng mỗi ngày cho mỗi kỹ sư bảo mật, gấp hơn 30 lần ước tính của hãng về công việc thủ công. Con số đo khâu tạo mẫu thử, không phải số lỗi riêng biệt đã xác nhận hay mức giảm rủi ro trên web thật. Nhiều biến thể của cùng một cửa hàng giúp kiểm tra độ nhạy với bố cục nhưng không thay thế việc thử một quy trình xa lạ. Một trang bán lẻ được mô phỏng kỹ cũng không đại diện cho cổng dịch vụ công cũ, biểu mẫu địa phương hoặc chính sách tài khoản của từng website.

Một công bố thuyết phục hơn sẽ tách bộ thử cố định để so phiên bản với nhóm thử đang mở rộng nhằm tìm vấn đề mới, đồng thời phân kết quả theo tác vụ và mức rủi ro. Công bố tỷ lệ chặn nhầm bên cạnh tỷ lệ can thiệp đúng còn cho biết biện pháp an toàn ảnh hưởng ra sao đến công việc bình thường. Mirror Dimension giúp tái hiện quyết định của tác nhân; kết quả trong phòng thử không phải bảo đảm ngoài thực tế. Khi đánh giá công cụ, doanh nghiệp nên yêu cầu kết quả phù hợp với quy trình và giới hạn ủy quyền của mình, thay vì chỉ xem số lượng trang mô phỏng.

Nguồn

Nội dung chỉ cung cấp thông tin, không cấu thành tư vấn đầu tư, pháp lý, thuế hoặc tài chính.