Khi AI nén bằng chứng, cần giữ lại điều kiện có thể đổi kết luận

Một hệ thống tìm kiếm doanh nghiệp có thể cung cấp đoạn văn rất liên quan nhưng bỏ lại thông tin cần thiết để sử dụng đoạn đó đúng cách. Một câu đứng riêng có vẻ đủ trả lời câu hỏi, nhưng có thể không còn áp dụng khi xét bản sửa đổi sau này, định nghĩa trong tài liệu khác hoặc mâu thuẫn chưa được giải quyết. Khi hệ thống truy xuất đảm nhận nhiều hơn việc lựa chọn những gì mô hình được đọc, khác biệt này cần được xử lý như một vấn đề kỹ thuật riêng.

Bối cảnh thời sự là Cohere ra mắt Rerank 5 ngày 21 tháng 10 năm 2026, với tùy chọn Context Focus trả về các đoạn liên quan trong tài liệu. Phạm vi phân tích ở đây rộng hơn sản phẩm này; chúng tôi chưa kiểm thử độc lập sản phẩm. Câu hỏi là làm sao xác định ngữ cảnh được chọn đã đủ cho một quyết định cụ thể, mà không coi điểm liên quan là sự bảo đảm đó.

Một đoạn bằng chứng có thể phụ thuộc vào đoạn khác

Hãy xét một trợ lý bảo trì thiết bị giả định. Một tài liệu mô tả quy trình hiệu chuẩn; thông báo kỹ thuật ban hành sau đó giới hạn quy trình cho một phiên bản phần cứng cũ; sổ đăng ký linh kiện cho biết phiên bản đang được lắp trên thiết bị. Kỹ thuật viên hỏi nên dùng quy trình nào. Ba hồ sơ có vai trò khác nhau: quy trình đưa ra hướng dẫn, thông báo thay đổi điều kiện áp dụng, còn sổ đăng ký nối điều kiện đó với thiết bị cụ thể.

Xếp tài liệu quy trình ở vị trí đầu có thể hoàn toàn hợp lý. Tuy nhiên, chỉ giữ đoạn trả lời trực tiếp nhất vẫn có thể khiến quyết định thiếu căn cứ. Đơn vị quan trọng ở đây là quan hệ giữa các hồ sơ. Nếu chỉ so từ ngữ, sổ đăng ký phần cứng có thể ít giống câu hỏi hơn nhiều tài liệu quy trình chi tiết. Giá trị của nó chỉ hiện rõ khi hệ thống kiểm tra điều kiện khiến quy trình được áp dụng.

Ví dụ giả định này không chứng minh một bộ truy xuất cụ thể có lỗi. Nó cho thấy mục tiêu truy xuất và mục tiêu ra quyết định có thể khác nhau. Giỏi chọn văn bản nói về một chủ đề vẫn cần thêm cơ chế nhận ra kết luận phụ thuộc vào điều kiện chưa được giải quyết. Tăng số đoạn trả về có thể hữu ích nhưng không bảo đảm khôi phục được quan hệ cần thiết.

Xác định thế nào là đủ bằng chứng

Với quy trình có phạm vi rõ ràng, có thể bắt đầu bằng những câu hỏi bắt buộc phải giải quyết trước khi trả lời. Trong ví dụ trên, đó là danh tính thiết bị, phạm vi áp dụng của tài liệu và việc chỉ dẫn mới có thay thế chỉ dẫn cũ hay không. Khi ấy, truy xuất tìm bằng chứng cho các quan hệ phụ thuộc này, thay vì chỉ thu thập thêm văn bản về hiệu chuẩn.

Thiết kế phải tương xứng với nhiệm vụ. Tìm tên một tài liệu không nên chịu cùng gánh nặng chứng minh như chọn quy trình vận hành tại hiện trường. Nếu mọi lượt tìm kiếm đều kích hoạt kiểm tra toàn bộ quan hệ phụ thuộc, hệ thống sẽ chậm và khó sử dụng. Ranh giới hợp lý phụ thuộc vào hậu quả của câu trả lời và những điều kiện thực sự có thể thay đổi nó trong phạm vi nhiệm vụ đã xác định.

Hệ thống cũng không thể chứng nhận tính đầy đủ đối với thông tin mà nó không được truy cập. Cần phân biệt “các hồ sơ đã kiểm tra hỗ trợ câu trả lời này” với “mọi hồ sơ liên quan đều đã được kiểm tra”. Mệnh đề thứ hai cần một mô tả đáng tin cậy về kho tài liệu, phạm vi bao phủ và trạng thái phiên bản. Một thông báo không thể truy cập hoặc sổ đăng ký chưa được lập chỉ mục không mất tính liên quan chỉ vì lời giải thích được tạo ra nghe chắc chắn. Khi khoảng trống đó ảnh hưởng đến kết luận, nêu rõ quan hệ phụ thuộc chưa được giải quyết có ích hơn một chỉ dẫn cuối cùng trôi chảy.

Kiểm tra xem bằng chứng thay đổi có làm đáp án thay đổi

Một cách đánh giá thực tế là xây dựng các cặp tình huống. Giữ nguyên câu hỏi và phần lớn tài liệu, chỉ thay đổi một điều kiện áp dụng đã được xác minh. Ở tình huống thứ nhất, quy trình vẫn hợp lệ; ở tình huống thứ hai, giới hạn phiên bản khiến nó không phù hợp. Người đánh giá kiểm tra hệ thống có truy xuất được bằng chứng đã thay đổi và có đổi kết luận vì đúng lý do hay không.

Cũng cần các thay đổi không được phép làm kết luận khác đi. Đảo thứ tự đoạn, thêm ghi chú nghe có vẻ liên quan nhưng không có hiệu lực điều chỉnh, hoặc thêm bản sao của cùng quy trình không nên tự động đảo ngược đáp án. Nếu không, hệ thống có thể trông nhạy với điều kiện quan trọng nhưng thực ra chỉ phản ứng với khác biệt bề mặt. Chuyên gia lĩnh vực cần xác định kết quả mong đợi trước khi chấm câu trả lời.

Một nghiên cứu lịch sử đưa ra lời nhắc hữu ích: Lost in the Middle, nộp lần đầu ngày 6 tháng 7 năm 2023, nhận thấy vị trí bằng chứng ảnh hưởng đến kết quả của các mô hình và nhiệm vụ được thử nghiệm. Đây không phải kết luận về hệ thống triển khai hiện nay. Nó gợi ý kiểm thử cách sắp xếp của chính hệ thống đang dùng, thay vì giả định khôi phục ngữ cảnh dài hơn sẽ sửa được mọi thiếu sót.

Đánh giá cũng nên giữ bằng chứng trung gian: tài liệu nào vào tập ứng viên, đoạn nào được giữ lại và nội dung nào thực sự đến mô hình trả lời. Nếu thông báo quan trọng chưa bao giờ vào tập ứng viên, sửa lời nhắc cuối không giải quyết toàn bộ vấn đề. Nếu nó đã được chọn nhưng mô hình bỏ qua, chỉ mở rộng truy xuất có thể lãng phí công sức. Phân biệt các giai đoạn giúp sửa lỗi đúng chỗ.

Dành chỗ cho mâu thuẫn trong ngữ cảnh

Một trường hợp quan trọng là hai hồ sơ có vẻ cùng áp dụng lại bất đồng. Chọn phát biểu rõ nhất hoặc được lặp nhiều nhất có thể che giấu mâu thuẫn. Nhiều bản sao của quy trình cũ không nên âm thầm lấn át một bản cập nhật có hiệu lực. Ngược lại, tài liệu có vẻ mới hơn cũng không nên tự động thắng khi chưa có bằng chứng về phạm vi và thẩm quyền của nó.

Với quy trình có hậu quả đáng kể, dành chỗ cho mâu thuẫn chưa giải quyết cùng siêu dữ liệu cần để hiểu chúng là lựa chọn thiết kế có cơ sở. Câu trả lời ngắn có thể nêu điều kiện nào chưa rõ và dẫn người duyệt đến cả hai hồ sơ. Cách này có thể dùng nhiều ngữ cảnh hơn một đoạn tinh gọn, nhưng giữ lại lý do vì sao đưa ra đáp án cuối lúc này còn quá sớm.

Bài báo Ragas, nộp lần đầu ngày 26 tháng 9 năm 2023, tách truy xuất, sử dụng trung thực ngữ cảnh và chất lượng đáp án thành các chiều đánh giá. Nhận định bổ sung của chúng tôi là trung thực với văn bản đã chọn không tự chứng minh rằng lựa chọn đó đã đủ. Câu trả lời hoàn toàn trung thực vẫn có thể kế thừa thiếu sót từ khâu trước. Đánh giá theo cặp ở trên là một cách xem xét điểm yếu riêng này, không phải một phương pháp hoàn chỉnh đã được kiểm chứng phổ quát.

Đặt ranh giới có thể đảo ngược cho việc nén

Ngữ cảnh ngắn hơn vẫn có giá trị thương mại khi tài liệu không cần thiết tốn tài nguyên hoặc làm phân tán nhiệm vụ. Biện pháp bảo vệ có thể là mở rộng có chọn lọc. Khi chưa giải quyết được một quan hệ phụ thuộc đã biết, hệ thống có thể truy xuất hồ sơ liên kết, mở rộng đoạn trích hoặc chuyển sang người duyệt, trong giới hạn quyền truy cập hiện có. Cần giữ các định danh đủ để nối đoạn văn trở lại nguồn và phiên bản của nó.

Khi đó, câu hỏi triển khai không chỉ là việc nén có hiệu quả trung bình hay không, mà còn là: ở những loại nhiệm vụ nào hệ thống nhận ra bằng chứng của mình chưa đủ? Nhóm vận hành có thể xem các ca chưa giải quyết, những lần chuyển người không cần thiết và các lỗi lọt qua mà không có cảnh báo. Những kết quả này làm rõ đánh đổi giữa hiệu suất trả lời thường ngày và chi phí xử lý sự không rõ ràng.

Cách tiếp cận này không chứng minh được tính đầy đủ trong mọi trường hợp. Quan hệ phụ thuộc chưa biết và danh mục tài liệu không hoàn chỉnh vẫn là giới hạn. Nhưng làm chúng hiện rõ sẽ thay đổi vai trò của việc nén: đó là biểu diễn bằng chứng có thể điều chỉnh và quay lại hồ sơ gốc, thay vì một lần sàng lọc không thể đảo ngược quyết định vĩnh viễn điều gì được phép tham gia câu trả lời.