AI điều tra phải vượt qua phép thử tính độc lập của bằng chứng

Phân tích | Ngày 14 tháng 10 năm 2026.

TRM ra mắt Ardence ngày 13/10. Thông báo. Sự kiện này đặt ra một câu hỏi cho bên mua AI điều tra: khi hệ thống đưa ra nhiều hồ sơ hỗ trợ, thực sự có bao nhiêu quan sát riêng biệt củng cố kết luận? Một danh mục tham khảo dài có thể che khuất nền tảng bằng chứng mỏng. Chúng tôi đề xuất kiểm tra sự phụ thuộc giữa các nguồn trước khi đánh giá mức độ thuyết phục của bản tường thuật.

Đếm quan sát trước khi đếm sự đồng thuận

Hãy xét một bài tập giả định. Ba nguồn dữ liệu thương mại cùng chép địa chỉ một công ty từ một bản ghi đăng ký. Báo cáo thứ tư dẫn lại một trong ba nguồn đó. Bốn kết quả tìm kiếm có vẻ nhất trí, nhưng bài tập chỉ có một quan sát gốc về địa chỉ. Nếu bản ghi đã lỗi thời, việc lặp lại không sửa được sai lệch ấy.

Người thẩm định cần hỏi từng nhận định xuất phát từ đâu, những hồ sơ nào đã sao chép hoặc biến đổi nó, và có hoạt động thu thập độc lập nào hay không. Tên nhà cung cấp khác nhau không giải đáp được các câu hỏi đó. Một bản tóm tắt do AI viết riêng cũng không tạo thêm quan sát. Khi chưa rõ quan hệ ở nguồn đầu vào, chúng tôi đề xuất nhãn “chưa xác lập tính độc lập”, thay vì ngầm coi các hồ sơ là độc lập hoặc giống hệt nhau.

Sự phân biệt này vẫn quan trọng ngay cả khi mọi liên kết trích dẫn đều mở được. Khung AI của NIST lưu ý rằng chỉ riêng tính minh bạch không chứng minh được độ chính xác. Một tài liệu có thể truy xuất có thể giải thích rõ vì sao hệ thống đi đến kết luận, trong khi kết luận ấy vẫn thiếu cơ sở.

Biến sự trùng lặp thành thí nghiệm có kiểm soát

Chúng tôi đề xuất một bộ kiểm thử tổng hợp nhỏ, trong đó quan hệ giữa các nguồn đã biết trước. Bắt đầu bằng một quan sát gốc, rồi cung cấp cùng thông tin qua nhiều hồ sơ có định dạng khác nhau. Giữ nguyên bằng chứng thực chất. Kiểm tra xem mức tin cậy được nêu, thứ tự các giả thuyết hoặc khuyến nghị của hệ thống có thay đổi chỉ vì số cách trình bày tăng lên hay không.

Sau đó, bổ sung một quan sát thực sự riêng biệt có khả năng làm thay đổi đánh giá. Phản ứng mong muốn không nhất thiết là tăng mức tin cậy thêm một con số cố định: hồ sơ mới có thể yếu, mâu thuẫn hoặc không liên quan. Điều quan trọng là phần giải thích chỉ ra được quan sát bổ sung xác lập điều gì và còn những bất định nào.

Cuối cùng, loại bỏ toàn bộ một nhóm hồ sơ chung nguồn gốc. Nếu kết luận phụ thuộc vào nhóm ấy, hệ thống cần thể hiện sự phụ thuộc đó. Đây là phép thử độ nhạy, không phải quy tắc rằng mọi nhận định đều cần nhiều người làm chứng. Một số quan sát tự chúng đã có thể mang tính quyết định; nhiều quan sát phụ thuộc nhau vẫn có ích để lần theo cách thông tin lan truyền.

Kiểm tra công bằng cách giải thích cạnh tranh

Các tiêu chuẩn phân tích tình báo của Hoa Kỳ yêu cầu xem xét giả thuyết thay thế; chúng không điều chỉnh thông tin thuần túy phục vụ thực thi pháp luật. Chúng tôi dùng nguyên tắc này làm tham chiếu phân tích, không coi đó là yêu cầu tuân thủ phổ quát.

Trong ví dụ địa chỉ giả định, trước khi tìm tiếp, hãy ghi ra hai cách giải thích: các thực thể có chung bên điều hành, hoặc chỉ sử dụng một địa chỉ dịch vụ chung. Xác định một quan sát được phép thực hiện có thể phân biệt hai khả năng. Sau đó yêu cầu hệ thống tìm yếu tố phân biệt ấy, thay vì chỉ thu thập thêm những địa chỉ trùng khớp.

Bài kiểm thử cần ghi nhận tích cực việc sửa đổi đánh giá một cách rõ ràng. Nếu bằng chứng mới ủng hộ cách giải thích về địa chỉ dịch vụ chung, suy luận trước đó cần yếu đi và các kết luận chịu ảnh hưởng phải được chỉ rõ. Kết quả đối chiếu thực thể, giả thuyết về quan hệ và bằng chứng về hành vi sai trái cần nằm ở các trường riêng. Chuyển từ trường này sang trường khác đòi hỏi lập luận; một sơ đồ mạng lưới hấp dẫn về thị giác không thể thay thế điều đó.

Giữ rõ ranh giới của những gì đã biết

Một hồ sơ thẩm định hữu ích nên thể hiện kết luận đề xuất, các nhóm quan sát độc lập, những phụ thuộc chưa được làm rõ, cách giải thích cạnh tranh mạnh nhất và câu hỏi tiếp theo giúp phân biệt các khả năng. Hồ sơ cũng cần nêu những gì chưa được kiểm tra. “Không trả về kết quả” phải đi kèm phạm vi tìm kiếm và khoảng thời gian thì mới có thể được diễn giải là sự vắng mặt có ý nghĩa.

Đây là các bài tập đánh giá do chúng tôi đề xuất, không phải kết quả đo Ardence hay cáo buộc về thiết kế sản phẩm. Chúng tôi chưa kiểm thử sản phẩm một cách độc lập. Câu hỏi dành cho bên mua là liệu hệ thống có thể giữ cuộc điều tra ở trạng thái chưa ngã ngũ khi bằng chứng còn bỏ ngỏ, và thu hẹp phạm vi khi bằng chứng thực sự cung cấp thông tin mới xuất hiện hay không. Nhiều tài liệu được truy xuất hơn chỉ có giá trị khi nhóm điều tra giải thích được mình vừa biết thêm điều gì, nếu có.