Ngữ cảnh dài hơn của LFM3 đặt ra câu hỏi về quan hệ giữa các bằng chứng

Ngày 27 tháng 10 năm 2026, Liquid AI giới thiệu LFM3. Kiến trúc văn bản kết hợp tích chập, chú ý cục bộ và toàn cục, với cửa sổ ngữ cảnh công bố là 256K token. Thông báo của Liquid AI.

Với nhóm phát triển ứng dụng, câu hỏi đáng quan tâm là họ sẽ dùng khoảng không gian đó như thế nào. Đưa thêm tài liệu vào một yêu cầu có thể giảm áp lực phải quyết định trước trang nào được giữ lại qua truy xuất. Nhưng điều đó cũng thay đổi công việc của trợ lý: thay vì trả lời từ một trích đoạn ngắn, nó có thể phải đối chiếu một hồ sơ dài chứa các phần mâu thuẫn. Phân tích của chúng tôi cho rằng nghiệm thu nên tập trung vào những quan hệ ấy, thay vì coi lời nhắc dài nhất chạy được là dung lượng hữu ích của sản phẩm.

Tìm thấy sự kiện mới chỉ là khởi đầu

Hãy hình dung một nhóm chăm sóc khách hàng đang xử lý tranh chấp giao hàng. Đơn hàng ban đầu ghi một địa chỉ. Thư tiếp theo đổi địa chỉ, rồi một thư khác nói thay đổi chỉ áp dụng cho lô hàng thứ hai. Trích riêng từng câu không khó. Câu trả lời hữu ích phải nối phần sửa đổi với đúng lô hàng, đồng thời giữ nguyên địa chỉ của lô đầu tiên. Trợ lý có thể tìm được cả ba đoạn nhưng vẫn đưa ra chỉ dẫn sai.

Ví dụ giả định này gợi ý một phép thử có sức giải thích cao hơn việc giấu một mã số trong tài liệu dài. Giữ nguyên sự kiện của vụ việc, chuyển phần sửa đổi ra xa chỉ dẫn gốc, rồi chèn các thư trao đổi có vẻ hợp lý nhưng không liên quan vào giữa. Quyết định đúng phải giữ nguyên. Nếu câu trả lời thay đổi, nhóm đã phát hiện sự phụ thuộc vào cách trình bày cần điều tra, dù từng đoạn được trích đều có thật.

Bài báo RULER năm 2024 mở rộng đánh giá ngữ cảnh dài từ truy xuất đơn giản sang các nhiệm vụ như theo dấu và tổng hợp. Nó có trước LFM3, không chứng minh hiệu năng của mô hình này. Bài báo gốc, nộp lần đầu ngày 9 tháng 4 năm 2024.

Trong tình huống giả định trên, theo dấu nghĩa là giữ được quan hệ giữa phần sửa đổi và chỉ dẫn mà nó sửa. Tổng hợp có thể là kiểm tra xem nhiều lần giao một phần đã hoàn thành một đơn hàng hay chưa. Đây là những cơ hội mắc lỗi khác nhau. Gộp chúng vào một tỷ lệ đạt duy nhất sẽ khiến nhóm khó xác định cần cải thiện truy xuất, cấu trúc tài liệu hay giới hạn vai trò của trợ lý trong quy trình.

Thay cách trình bày, giữ nguyên ý nghĩa

Một phép thử tốt phải phân biệt thay đổi không liên quan với thay đổi có ý nghĩa. Di chuyển một đoạn mà không đổi ngày hoặc phạm vi áp dụng không nên làm đáp án thay đổi. Đổi phạm vi từ lô thứ hai sang cả hai lô thì phải làm đáp án đổi. Bộ đánh giá cần cả hai loại biến thể; nếu không, một hệ thống cứ lặp lại câu trả lời đầu tiên cũng có thể trông rất ổn định.

Nghiên cứu Lost in the Middle năm 2023 nhận thấy vị trí bằng chứng ảnh hưởng đến hiệu năng trong các mô hình và nhiệm vụ được đánh giá. Kết quả lịch sử này không chẩn đoán LFM3. Bài báo gốc, nộp lần đầu ngày 6 tháng 7 năm 2023.

Phép thử ứng dụng chúng tôi đề xuất không chỉ hỏi có tìm được thông tin ở giữa hay không. Nó hỏi quyết định có còn dựa trên cùng các sự kiện sau khi cách sắp xếp đổi đi hay không. Đặt phần sửa đổi có hiệu lực ở đầu, giữa và cuối; sau đó đặt nó gần một phần sửa đổi tương tự nhưng không liên quan. Ghi lại câu trả lời cùng các đoạn dùng để nối các bên, đối tượng và ngày hiệu lực. Đáp án đúng với chuỗi bằng chứng sai vẫn mong manh: đó có thể là may mắn chứ không phải kết quả lặp lại được.

Cách làm này có một giới hạn quan trọng. Thứ tự tài liệu thực đôi khi tự nó mang ý nghĩa. Chuỗi quan sát có thể xác định điều gì đã được biết trước một quyết định; lượt hội thoại cho biết ai trả lời ai. Xáo trộn ngẫu nhiên có thể phá hỏng nhiệm vụ thay vì kiểm tra nó. Người đánh giá phải nêu rõ biến đổi nào giữ nguyên nghĩa, biến đổi nào đòi hỏi đáp án mới. Đó là công việc chuyên môn thực chất, không phải thuộc tính tự động xuất hiện khi cửa sổ ngữ cảnh lớn hơn.

Ứng dụng phải xác định ranh giới nghiệm thu

Kiến trúc có liên quan đến cách mô hình xử lý thông tin, nhưng nhóm sản phẩm không nên suy ra một lỗi nghiệp vụ cụ thể chỉ từ tên thành phần kiến trúc. Cũng không nên cho rằng sự kết hợp thao tác cục bộ và toàn cục bảo đảm đối chiếu đúng. Bằng chứng thực tế đến từ mô hình, cấu hình chạy và quy trình tài liệu hoạt động cùng nhau. Kết quả của một cấu hình triển khai không tự động áp dụng cho mọi cách lượng tử hóa, định dạng lời nhắc hay phiên bản mô hình sau này.

Giả sử nhóm dịch vụ thêm bản tóm tắt thư trao đổi cũ để rút ngắn hồ sơ. Bản tóm tắt trở thành một thành phần khác cần đánh giá. Nếu nó bỏ giới hạn chỉ dành cho lô thứ hai, mô hình phía sau có thể chỉ đang làm đúng một mô tả thiếu. Chỉ kiểm tra trợ lý cuối cùng sẽ quy lỗi sai chỗ. Giữ tài liệu gốc và bản tóm tắt trung gian giúp xác định nơi quan hệ có tính chi phối đã biến mất.

Lập luận tương tự áp dụng khi trợ lý ngữ cảnh dài kết hợp tìm kiếm. Tìm kiếm có thể giảm nhiễu và giúp kiểm tra bằng chứng dễ hơn, nhưng cũng chọn điều trợ lý không nhìn thấy. Một so sánh hữu ích sẽ đưa cùng các hồ sơ gốc cho nhánh ngữ cảnh dài và nhánh truy xuất, rồi đếm hồ sơ được giải quyết, phần sửa đổi bị bỏ sót và hồ sơ được chuyển sang rà soát một cách phù hợp. Không cần một lựa chọn chung cho mọi trường hợp: hồ sơ ngắn, có chỉ mục rõ có thể hợp với truy xuất; hồ sơ có tranh chấp có thể đáng được xem xét rộng hơn.

Một phản biện hợp lý là kiểu kiểm tra này tốn kém, trong khi nhiều ứng dụng chỉ cần phân loại sơ bộ. Phản biện ấy nên thay đổi phạm vi, không xóa bỏ phạm vi. Với việc sắp xếp có thể đảo ngược, bằng chứng vừa phải có thể đủ. Với chỉ dẫn làm thay đổi giao hàng, bỏ sót ngoại lệ có chi phí khác. Ranh giới nghiệm thu nên theo quyền hành động của trợ lý, không theo số token tối đa nó nhận được.

LFM3 khiến đây trở thành câu hỏi sản phẩm đúng thời điểm, chứ chưa phải phán quyết đã có về mô hình. Chúng tôi chưa tự kiểm chuẩn LFM3. Kết quả tiếp theo thực sự hữu ích là một khẳng định có giới hạn rõ: trong quy trình xác định, với tài liệu cụ thể và biến thể có ý nghĩa, trợ lý giữ được các quan hệ cần cho câu trả lời—hoặc biết rằng chúng chưa được làm rõ. Đó là định nghĩa ngữ cảnh hữu ích có tính hành động cao hơn chỉ riêng dung lượng.