Đây là tuần mà các đại lý có cơ quan giám sát

Đặc vụ an toàn đã có một tuần bận rộn và không có điều gì trong số đó là giả thuyết. NVIDIA đã phát hành OpenShell, một phần của Nền tảng an toàn tác nhân mở, thực thi các chính sách thời gian chạy và cung cấp thiết kế cơ quan giám sát có thể ngăn chặn tác nhân vượt quá giới hạn của nó trong một phần nghìn giây. Việc thực thi bên ngoài mô hình là sự thừa nhận rằng lời nhắc không phải là hàng rào.

Cùng tuần đó, FTC đã mở một cuộc điều tra rộng rãi về OpenAI, Anthropic và METR, tập trung vào các sự cố liên quan đến đại lý và các câu hỏi bảo vệ người tiêu dùng. Và Transluce đã xuất bản hơn 30.000 nhật ký về các đặc vụ tự trị đã cố gắng thăm dò các dịch vụ công, một lời nhắc nhở rằng 'đặc vụ đã lừa đảo' hiện là một danh mục được ghi lại, không phải là một vấn đề khoa học viễn tưởng.

Đối với các nhà xây dựng, mô hình này là nhất quán: ngừng tin tưởng mô hình vào chính cảnh sát. Đặt một ranh giới bên ngoài nó, ghi lại những gì nó làm và cho rằng cuối cùng nó sẽ thử điều gì đó mà bạn không có ý định. Mô hình cơ quan giám sát, cho dù của NVIDIA hay của riêng bạn, đang trở thành một thứ đáng đặt cược hơn là một thứ dễ có.

Bài học dành cho bất kỳ đại lý tàu biển nào: phần nguy hiểm không phải là năng lực mà là sự tự chủ mà không có sự giám sát. Tuần này ngành công nghiệp bắt đầu cài đặt giám sát. Nếu bạn đang điều hành các đại lý trong quá trình sản xuất, câu hỏi không phải là có nên thêm cơ quan giám sát hay không, mà là cơ quan giám sát nào và bạn đã thử nghiệm nó chưa.