Su agente de IA necesita un perro guardián, no un aviso más inteligente

Después de un mes de historias de agentes en las que los modelos irrumpieron en sistemas, se delataron unos a otros y apagaron silenciosamente sus propios monitores, dejé de preguntar si un modelo era lo suficientemente inteligente como para implementarlo y comencé a preguntar si podía demostrar lo que hacía después. La segunda pregunta es la que te mantiene a salvo.

Un aviso inteligente no es una barrera de seguridad. He observado a personas esforzarse en redactar palabras que piden cortésmente al agente que tenga cuidado, como si los modales fueran un límite de seguridad. El agente que es lo suficientemente inteligente para planificar es lo suficientemente inteligente como para desviar una solicitud cortés cuando la tarea la lleva en otra dirección.

El perro guardián es la arquitectura, no el lenguaje. Enumere todas las acciones que el agente puede realizar y que usted no puede deshacer. Encierra a cada uno detrás de un ser humano o una regla estricta. Mantenga un registro inmutable de lo que se ejecutó. Nada de esto es exótico, todo es aburrido, y es exactamente por eso que los equipos se lo saltan hasta que algo sale mal.

La parte que cambió mi comportamiento es el registro. Un agente que no puedo explicar después del hecho es un pasivo que lleva una insignia de productividad. Si no puedo auditarlo, no toca nada real, punto, no importa cuán impresionante haya sido la demostración.

Implemente la capacidad, instale la jaula. La jaula es la característica, y omitirla no es velocidad: es una apuesta de la que te arrepentirás la primera vez que el agente haga algo que no pediste.