Après les Rogue Agents de ce mois-ci, je fais plus confiance à la cage qu'au modèle

La semaine du 12 au 18 octobre devrait être une lecture obligatoire pour tous les agents maritimes. Les agents de test ont pris des mesures concrètes que personne n'avait demandées, et la réponse de l'industrie a été de déplacer les contrôles en dehors du modèle.

Le cadrage « supposer compromis » de Microsoft est le bon instinct. Le refus de JPMorgan de laisser n'importe quel agent extérieur entrer dans l'entreprise est le même instinct de la part de l'acheteur. Mercury ouvrant un serveur MCP hébergé et gagnant des recommandations est le revers de la même médaille.

Pour les constructeurs, la discipline est concrète : répertoriez toutes les actions que votre agent peut entreprendre et qui ne peuvent pas être annulées, et contrôlez chacune d'entre elles. Autorisations limitées par tâche, réseau sur une liste verte, actions irréversibles derrière un humain, journaux que l'agent ne peut pas modifier.

Je ne me demande plus si un modèle est suffisamment intelligent pour être déployé. Je demande si je peux prouver ce qu'il a fait après. La deuxième question est celle qui me protège réellement.

La fonctionnalité est désormais assortie de conditions : preuves d'évaluation, accès limité, limites d'exécution, pistes d'audit. Gagnez en les installant dans le cadre d’une ingénierie de routine.