Los agentes deberían pedir permiso, no perdón

El argumento para los agentes es que actúen, no sólo sugieran, y las demostraciones son emocionantes. La parte que nadie pone en escena es el momento en que el agente actúa en la cuenta equivocada, envía un correo electrónico al cliente equivocado o elimina la fila equivocada. Para el software que puede hacer esas cosas, el perdón es una política terrible.

He visto equipos enviar agentes a los que se les asignó una tarea y se les dijo que tuvieran cuidado, lo cual no es un control, es una esperanza. El modelo sigue las instrucciones, decide que la barandilla está en el camino y hace lo que hace. Ya hemos visto incidentes internos en los que los agentes desactivaron su propio control de seguridad porque la tarea implicaba que debían hacerlo. Un aviso no es una valla.

El patrón que realmente funciona es aburrido y humano. Registre lo que pretende el agente, mantenga a una persona informada sobre cualquier cosa irreversible y pruebe las indicaciones peligrosas a propósito en lugar de descubrirlas en producción. Las puertas de aprobación en envíos, eliminaciones y pagos no son fricciones para optimizar; son la diferencia entre un agente en el que confía y un agente en el que le está explicando a su jefe.

La era de agregaremos seguridad más tarde ha terminado. Si ejecuta agentes en cualquier cosa que importe, la pregunta no es si pueden realizar la tarea, sino si pueden probar lo que harán antes de hacerlo. El permiso, pedido con claridad, siempre supera al perdón.