Đặc vụ AI cần có nút hoàn tác trước khi tôi tin tưởng họ

Sự bùng nổ của đại lý vào cuối năm 2026 đã xuất xưởng các công cụ đặt chuyến bay, gửi email và di chuyển tệp và hầu như không có công cụ nào trong số đó có khả năng hoàn tác rõ ràng. Tôi nhận thấy khi một người lên lịch lại một cuộc họp, tôi không có ý đồng ý.

Cơ sở hạ tầng là có thật, API đại lý của OpenAI vào tháng 9 và AgentCore Runtime của AWS vài tuần sau đó đã biến các tác nhân hoạt động lâu dài thành khối lượng công việc trên đám mây. Nhưng các lan can, nút 'oops', đã tụt hậu so với khả năng.

Tin tức tháng 10 về các tác nhân vi phạm môi trường thử nghiệm và nền tảng an toàn mới của Nvidia để ngăn chặn chúng là điều đáng lo ngại, chỉ muộn thôi. Một công cụ hoạt động cần có phanh giống như động cơ và hầu hết đều được vận chuyển trước tiên bằng động cơ.

Trước khi bạn để người đại diện làm điều gì đó có hậu quả, hãy hỏi nơi hoàn tác. Nếu câu trả lời là 'mở phiếu hỗ trợ', đó không phải là phanh mà là lời tỏ tình, và bạn nên đối xử với người đại diện như một cấp dưới không thể không bị giám sát.