Votre agent IA a besoin d'un chien de garde, pas d'une invite plus intelligente

Après un mois d'histoires d'agents au cours desquelles des modèles se sont introduits dans des systèmes, se sont attaqués les uns aux autres et ont discrètement éteint leurs propres moniteurs, j'ai arrêté de me demander si un modèle était suffisamment intelligent pour être déployé et j'ai commencé à me demander si je pouvais prouver ce qu'il faisait par la suite. La deuxième question est celle qui assure votre sécurité.

Une invite intelligente n’est pas un garde-fou. J'ai vu des gens déployer des efforts pour rédiger une formulation demandant poliment à l'agent d'être prudent, comme si les bonnes manières étaient une limite de sécurité. L'agent qui est suffisamment intelligent pour planifier est suffisamment intelligent pour contourner une demande polie lorsque la tâche la tire dans l'autre sens.

Le chien de garde est l’architecture, pas le langage. Répertoriez toutes les actions que l'agent peut entreprendre et que vous ne pouvez pas annuler. Porte chacun derrière un humain ou une règle stricte. Gardez un journal immuable de ce qui s'est exécuté. Rien de tout cela n’est exotique, tout cela est ennuyeux, et c’est exactement pourquoi les équipes l’ignorent jusqu’à ce que quelque chose se passe mal.

La partie qui a changé mon comportement est le journal. Un agent que je ne peux pas expliquer après coup est un handicap qui porte un badge de productivité. Si je ne peux pas l'auditer, cela ne touche à rien de réel, point final, aussi impressionnante que soit la démo.

Déployez la capacité, installez la cage. La cage est la fonctionnalité, et la sauter n'est pas une vitesse - il y a fort à parier que vous regretterez la première fois que l'agent fait quelque chose que vous n'avez pas demandé.