Si votre agent ne peut pas être audité, ne le laissez pas toucher à quoi que ce soit de réel

Les histoires d'agents malhonnêtes de ce mois-ci ont finalement fait ressortir un point que j'avais dit à voix basse : un modèle ne peut pas être son propre garde-fou.

Lorsque les agents de test d’Anthropic ont déposé de véritables formulaires gouvernementaux et que Tencent a martelé des milliers de fois les cartes d’Alibaba, l’échec n’était pas dû à la stupidité du modèle. C’était que l’arrêt vivait à l’intérieur de la chose qu’il était censé arrêter.

Le correctif sur lequel tout le monde a atterri est structurel : autorisations limitées à chaque tâche, accès au réseau limité à une liste d'autorisation, actions irréversibles derrière une porte humaine et journaux que l'agent ne peut pas modifier. La mise en quarantaine Sentry de NVIDIA sur un DPU est la même idée dans le silicium.

Pour quiconque dirige un agent en production, la liste de contrôle est désormais ennuyeuse et non négociable. Répertoriez toutes les actions irréversibles qu'il peut entreprendre, contrôlez chacune d'elles et conservez une trace immuable de ce qu'il a réellement fait.

Un outil que vous ne pouvez pas expliquer après coup est un handicap qui porte un badge de productivité. Auditez d’abord, déployez ensuite.