AI có thể nhớ thói quen. Quyền hành động cần hồ sơ riêng.

Phân tích | Ngày 7 tháng 11 năm 2026

Bản tiền ấn phẩm Memory Trap ngày 5 tháng 11 cho biết ký ức từ tương tác lành tính có thể gây hành vi vượt phạm vi trong nhiệm vụ mô phỏng sau đó. Đây không phải phép đo sự cố thực tế. Nghiên cứu

Câu hỏi sản phẩm không chỉ là trợ lý lưu lời người dùng chính xác đến đâu, mà còn là những lời đã lưu được phép quyết định điều gì. Theo chúng tôi, ký ức có thể cải thiện dịch vụ nhưng không nên tự mình quyết định quyền thay đổi thế giới bên ngoài. Phần dưới là phân tích thiết kế của Open Market Notes, không phải tuyên bố rằng sản phẩm cụ thể nào đã triển khai các biện pháp này.

Cá nhân hóa và sự cho phép cần hai quy trình khác nhau

Hãy hình dung một trợ lý mua hàng giả định. Người dùng muốn ít câu hỏi, ưu tiên nhà cung cấp quen thuộc và email ngắn gọn. Những sở thích đó giúp xếp hạng báo giá, sắp xếp giải thích và soạn bản nháp. Nhưng đặt hàng cần các câu trả lời khác: mua gì, từ ai, giới hạn bao nhiêu, giao đến đâu và có được gia hạn hay không. Mô tả thói quen chi tiết không thể bổ sung các điều kiện cho phép còn thiếu.

Nếu cả hai loại thông tin đều được lưu dưới dạng ghi chú ngôn ngữ tự nhiên, một khác biệt quan trọng có thể biến mất. Sở thích giúp xếp thứ tự các lựa chọn hợp lệ; sự cho phép quyết định lựa chọn đó có được thực thi không. Biến mong muốn tránh xác nhận lặp lại thành miễn xác nhận mọi việc là để yêu cầu về trải nghiệm dịch vụ thay đổi ranh giới giao dịch. Đây là lo ngại kiến trúc của chúng tôi, không phải một sự cố khách hàng đã được quan sát.

Thiết kế phù hợp hơn là để mô hình đề xuất hành động, còn hồ sơ quyền được duy trì độc lập quyết định khả năng thực thi. Hồ sơ không nhất thiết phức tạp nhưng phải nêu thao tác, đối tượng, giới hạn và điều kiện áp dụng. Quyền có thể bao phủ mua hàng định kỳ hoặc một đơn hàng. Cho phép dài hạn rõ ràng không nên dẫn đến hỏi lại liên tục; quyền còn thiếu không nên được suy ra từ giọng điệu trò chuyện.

Truy cập tài khoản không phải phê duyệt mọi nghiệp vụ

Tài liệu công cụ ký ức của Claude giao việc lưu trữ và thực thi thao tác tệp cho ứng dụng. Tài liệu Vì vậy, nhà thiết kế ứng dụng có thể đặt kiểm soát giữa yêu cầu của mô hình và thực thi, thay vì hoàn toàn dựa vào cách mô hình hiểu lịch sử.

Đặc tả ủy quyền MCP xử lý quyền truy cập ở tầng truyền tải vào máy chủ hạn chế thay mặt chủ tài nguyên. Đặc tả Chúng tôi phân biệt một câu hỏi tiếp theo: kết nối kỹ thuật cho phép gọi dịch vụ không chứng minh người dùng đã phê duyệt đơn hàng, người nhận hoặc nơi chia sẻ hiện tại. Quyền kết nối trả lời ứng dụng truy cập được gì; quyền nghiệp vụ còn phải trả lời lần này được làm gì.

Ví dụ, trợ lý lịch có thể cần quyền liên tục để đọc lịch và tạo cuộc họp. Điều đó thuận tiện cho cuộc họp nội bộ định kỳ. Khi gửi lời mời bên ngoài chứa tên dự án chưa công bố, hệ thống vẫn cần kiểm tra người nhận và nội dung được chia sẻ. Đây là tình huống thiết kế giả định, không phải yêu cầu phê duyệt thủ công mọi cuộc họp bên ngoài. Quyền phải bao phủ sự việc hiện tại, không chỉ một tên công cụ chung.

Xử lý hàng loạt cần quy tắc cho ngoại lệ

Doanh nghiệp mua tác nhân AI một phần để giảm chi phí phối hợp. Hỏi lại mỗi thao tác có thể biến lợi ích tự động hóa thành gánh nặng phê duyệt. Do đó, kiểm soát hữu ích cần nhiều hơn hai lựa chọn: cho phép tất cả hoặc hỏi về tất cả.

Chúng tôi đề xuất tách các mục đáp ứng điều kiện cho phép khỏi các mục có thay đổi đáng kể. Giả sử đã được phép gửi nhắc thanh toán cho khách hàng hiện hữu. Các hồ sơ bình thường trong phạm vi có thể tiếp tục. Hồ sơ có tài khoản nhận tiền mới, số tiền đang tranh chấp hoặc người nhận khác phải tạm dừng riêng. Nó không nên dừng cả hàng đợi, cũng không được bỏ qua nhờ phê duyệt chung. Quyết định tiếp theo chỉ nên giải quyết ngoại lệ được nêu, không âm thầm mở rộng quyền cho toàn bộ nhiệm vụ.

Hệ thống cần lưu điều kiện thực tế lúc thực thi. Chỉ ghi “đã phê duyệt” không giải thích được điều xảy ra sau đó. Hồ sơ kiểm toán hữu ích gồm nguồn phê duyệt, đối tượng, giới hạn, thay đổi quan trọng và cách giải quyết ngoại lệ. Người dùng không cần thấy mọi chi tiết nội bộ nhưng phải có thể hỏi vì sao mục này được thực hiện mà không hỏi lại còn mục khác thì không.

Đo ranh giới, không chỉ tỷ lệ hoàn thành

Bài kiểm tra trợ lý mua hàng có thể dùng cách diễn đạt tương tự cho đơn bình thường và ngoại lệ, giữ nguyên sản phẩm và nhà cung cấp nhưng đổi hạn mức, địa chỉ giao hoặc điều kiện gia hạn. Kết quả mong đợi không phải do dự trước mọi việc. Công việc đã được cho phép phải tiếp tục; chỉ mục thực sự vượt phạm vi mới được đưa ra.

Chúng tôi sẽ theo dõi đồng thời ba chỉ số: thực thi khi chưa đủ quyền, hỏi lại dù đã có phê duyệt hợp lệ và thời gian ngoại lệ chặn công việc bình thường không liên quan. Đây là khung đánh giá do chúng tôi đề xuất, không phải kết quả của nghiên cứu. Chỉ tối ưu chỉ số đầu có thể thưởng cho việc từ chối mọi thứ; chỉ tối ưu hoàn thành có thể thưởng cho suy diễn quá mức. Kết hợp chúng giúp đánh giá kiểm soát có thực sự cải thiện dịch vụ hay không.

Cũng cần thử thay đổi quyền. Sau khi rút quyền mua tự động từ một nhà cung cấp, bản tóm tắt cũ, nhiệm vụ đang xếp hàng hay lời thuật lại của tác nhân khác không được khôi phục quyền đó. Kiểm tra phải diễn ra ngay trước thực thi, không chỉ lúc lập kế hoạch. Bước cuối của nhiệm vụ dài vẫn phải tuân theo điều kiện hiện hành.

Bản tiền ấn phẩm đáng chú ý nhưng không tự chứng minh một kiến trúc quyền hiệu quả. Nhóm sản phẩm vẫn phải kiểm tra với công cụ, dữ liệu và ngoại lệ của mình. Mục tiêu thực tế là trợ lý nhớ cách hỗ trợ một người đồng thời giải thích được căn cứ cho hành động có hệ quả. Tách hai trách nhiệm này tạo cơ hội giảm cả gián đoạn không cần thiết lẫn thực thi trái phép.