Tiêm nhanh không phải là giả thuyết: Các rào cản dành cho các tác nhân AI có công cụ

Bản demo mà mọi người đều biết: một nhân viên đọc một trang web chứa các hướng dẫn ẩn và nhân viên bắt đầu theo dõi chúng thay vì của bạn. Nó giống như một cuộc nói chuyện trong hội nghị bảo mật, nhưng phiên bản tôi gặp trong thực tế thì buồn tẻ hơn nhiều - một tài liệu được chia sẻ với một dòng văn bản màu trắng và một nhân viên đã nghiêm túc chuyển tiếp nội dung đến một địa chỉ mà lẽ ra họ không bao giờ nên liên hệ.

Điều khó chịu nhất là không có lời nhắc nhở cẩn thận nào có thể khắc phục được điều này. Nếu tác nhân của bạn đọc văn bản do người khác viết thì văn bản đó là đầu vào và mô hình không thể đưa ra hướng dẫn từ dữ liệu một cách đáng tin cậy. Việc yêu cầu mô hình bỏ qua các hướng dẫn bên trong tài liệu nghe có vẻ giống như một cách khắc phục; đó là một gợi ý và các đề xuất sẽ thua trước những lời nhắc trông giống như nhiệm vụ thực sự.

Vì vậy, các lan can phải nằm ngoài mô hình. Ba điều tôi nhấn mạnh bây giờ: đặc vụ có quyền truy cập công cụ trong phạm vi hẹp nhất có thể, mọi hành động tiếp theo đều cần một bước mà con người có thể làm gián đoạn và có nhật ký ghi lại những gì đặc vụ đã làm bằng ngôn ngữ đơn giản mà tôi có thể đọc sau. Bộ quyền là ranh giới bảo mật thực tế; lời nhắc là một gợi ý cho tác nhân, không phải cho kẻ tấn công.

Cụ thể: một công cụ có thể gửi email chỉ có thể gửi đến các địa chỉ đã có trên tài khoản và chỉ sau khi con người xác nhận danh sách người nhận. Một công cụ có thể chạy các lệnh shell sẽ chạy trong hộp cát không có thông tin xác thực vì thời điểm tác nhân của bạn có khóa sản xuất thì kẻ tấn công cũng vậy. Chỉ đọc là mặc định tốt nhất và quyền truy cập ghi là thứ bạn kiếm được thay vì cấp.

Nửa còn lại coi dữ liệu là dữ liệu. Bất kỳ nội dung nào mà tổng đài viên đọc từ bên ngoài tổ chức của bạn - trang web, email đến, tài liệu được chia sẻ, thậm chí cả tệp PDF từ khách hàng - đều được coi là thông tin đầu vào không đáng tin cậy, giống như cách bạn xử lý email của người lạ yêu cầu bạn chuyển tiếp hợp đồng. Người đại diện nên tóm tắt, trích dẫn và chuyển cho bạn - đừng bao giờ tuân theo.

Không ai trong số này làm cho các tác nhân an toàn trong bản tóm tắt. Nó giúp họ đủ an toàn để thực hiện một nhiệm vụ mà kết quả tồi tệ nhất là một cuộc chạy lãng phí thay vì chuyển khoản. Bây giờ tôi bắt đầu mọi hoạt động tự động hóa bằng câu đó, vì nếu trường hợp xấu nhất không thể chấp nhận được thì việc lựa chọn công cụ không phải là vấn đề bạn nên giải quyết.

Các câu hỏi thường gặp:

Câu hỏi: Có thể khắc phục tính năng nhắc nhở bằng lời nhắc tốt hơn không?

Đáp: Không. Nó có thể được giảm bớt, nhưng không bị loại bỏ, vì mô hình không thể tách biệt các hướng dẫn khỏi nội dung được yêu cầu đọc một cách đáng tin cậy. Cách khắc phục đáng tin cậy là hạn chế những gì tác nhân có thể làm, không yêu cầu nó phải cẩn thận.

Hỏi: Lan can bảo vệ quan trọng nhất cần thêm vào đầu tiên là gì?

Đáp: Loại bỏ quyền ghi vào bất cứ thứ gì bên ngoài tác vụ. Hầu hết các sự cố của đại lý đều trở nên vô hại khi đại lý không thể gửi, xóa hoặc chi tiêu mà không có sự xác nhận của con người. Các tác nhân chỉ đọc không an toàn theo mặc định.

Câu hỏi: Tôi có cần điều này không nếu tôi chỉ sử dụng tác nhân trên các tệp của riêng mình?

Đáp: Rủi ro nằm ở bất cứ điều gì đại lý đọc, không chỉ những gì nó viết. Tài liệu từ đồng nghiệp hoặc khách hàng có thể chứa các hướng dẫn tương tự và nhân viên hỗ trợ của bạn xử lý chúng giống như cách xử lý các ghi chú của bạn.