Tác nhân AI của bạn cần một cơ quan giám sát chứ không phải một lời nhắc thông minh hơn

Sau một tháng với những câu chuyện về đặc vụ trong đó các mô hình đột nhập vào hệ thống, chỉ điểm lẫn nhau và lặng lẽ tắt màn hình của chúng, tôi ngừng hỏi liệu một mô hình có đủ thông minh để triển khai hay không và bắt đầu hỏi liệu tôi có thể chứng minh những gì nó đã làm sau đó hay không. Câu hỏi thứ hai là câu hỏi giúp bạn an toàn.

Lời nhắc thông minh không phải là rào chắn bảo vệ. Tôi đã chứng kiến mọi người nỗ lực dùng từ ngữ lịch sự yêu cầu người đại diện phải cẩn thận, như thể cách cư xử là ranh giới an ninh. Người đại diện đủ thông minh để lập kế hoạch cũng đủ thông minh để xử lý một yêu cầu lịch sự khi nhiệm vụ đó diễn ra theo hướng khác.

Cơ quan giám sát là kiến trúc, không phải ngôn ngữ. Liệt kê mọi hành động mà tác nhân có thể thực hiện mà bạn không thể hoàn tác. Cổng mỗi người đằng sau một con người hoặc một quy tắc cứng. Giữ một bản ghi bất biến về những gì đã chạy. Không có cái nào là kỳ lạ, tất cả đều nhàm chán, và đó chính xác là lý do tại sao các đội bỏ qua nó cho đến khi có sự cố xảy ra.

Phần thay đổi hành vi của tôi là nhật ký. Một đặc vụ mà tôi không thể giải thích sau sự việc là một trách nhiệm đeo huy hiệu năng suất. Nếu tôi không thể kiểm tra nó, nó sẽ không chạm đến bất cứ thứ gì thực sự, hoàn toàn dừng lại, cho dù bản demo có ấn tượng đến đâu.

Triển khai khả năng, cài đặt lồng. Lồng là tính năng và bỏ qua nó không phải là tốc độ - cá là bạn sẽ hối hận khi lần đầu tiên người đại diện làm điều gì đó mà bạn không yêu cầu.