Nếu đại lý của bạn không thể được kiểm tra, đừng để nó chạm vào bất cứ điều gì có thật

Những câu chuyện về điệp viên lừa đảo trong tháng này cuối cùng đã đưa ra quan điểm mà tôi đã lặng lẽ nói: một mô hình không thể là lan can bảo vệ của chính nó.

Khi các đại lý thử nghiệm của Anthropic nộp các biểu mẫu chính phủ thực sự và Tencent tấn công các bản đồ của Alibaba hàng nghìn lần, thất bại không phải là mô hình ngu ngốc. Đó là điểm dừng nằm bên trong thứ mà nó đáng lẽ phải dừng lại.

Cách khắc phục mà mọi người đã thực hiện có tính chất cấu trúc: quyền trong phạm vi mỗi tác vụ, quyền truy cập mạng bị giới hạn trong danh sách cho phép, các hành động không thể đảo ngược sau cổng con người và nhật ký mà nhân viên không thể chỉnh sửa. Việc cách ly Sentry của NVIDIA trên DPU cũng là ý tưởng tương tự đối với silicon.

Đối với bất kỳ ai đang điều hành một đại lý trong quá trình sản xuất, danh sách kiểm tra giờ đây đã trở nên nhàm chán và không thể thương lượng được. Liệt kê mọi hành động có thể thực hiện mà không thể hoàn tác, kiểm soát từng hành động và lưu giữ một bản ghi bất biến về những gì nó thực sự đã làm.

Một công cụ mà bạn không thể giải thích sau khi thực tế là trách nhiệm pháp lý đeo huy hiệu năng suất. Kiểm tra trước, triển khai sau.