Mon agent a réservé le mauvais vol, en toute confiance. Le reçu est une leçon de délégation
J'ai donné à un agent IA mes préférences de voyage et un budget et je l'ai laissé réserver. Il suivait parfaitement toutes les règles et se trompait toujours d'une manière qu'aucune règle ne couvrait.
La configuration semblait prudente. J'ai écrit mes préférences comme un document de politique : siège côté hublot, pas d'yeux rouges, préférence sans escale de moins de trois heures, plafond budgétaire par trajet, programme de fidélité avant tout. J'ai donné à l'agent accès à une carte de voyage dédiée avec une limite basse. Ensuite, je l'ai laissé réserver mon voyage d'octobre pendant que je regardais autre chose. Chaque règle a été respectée. Le voyage était toujours faux.
Ce qu'il a réservé : un siège côté fenêtre sans escale, dans les limites du budget, sur ma compagnie aérienne préférée. Aussi : un jour de départ un jour avant l'événement dont je l'avais parlé dans une conversation séparée – parce que j'avais mentionné « le 14 » dans un fil et « la conférence » dans un autre, et l'agent a résolu le conflit comme le ferait un intérimaire à l'esprit littéral. Le vol était parfait pour un voyage que je ne faisais plus.
Voici ce qui m'a dérangé, et ce n'est pas l'erreur. Lorsque j'ai moi-même commis cette erreur, il y a un moment de doute : quelque chose ne va pas lorsque je clique sur acheter. L’agent n’a ressenti aucune friction de ce type. Il a exécuté la résolution d'une instruction ambiguë avec la même confiance que les instructions sans ambiguïté. La confiance n’est pas un signal d’exactitude ; c'est un choix de rendu.
La solution n'était pas des règles plus intelligentes. J'ai essayé d'écrire plus de règles et j'ai obtenu un document que l'agent a suivi encore plus littéralement dans de nouveaux coins. Ce qui a fonctionné, c'est un point de contrôle : maintenant l'agent rédige, j'approuve, puis il enregistre. Un clic de jugement humain au point de non-retour. Le rêve d’une automatisation complète meurt au même endroit que la plupart des conceptions de processus : au moment du transfert.
J'utilise toujours l'agent. Cela permet de gagner du temps réel sur les 90 % de réservations de voyages véritablement mécaniques. Mais j’ai arrêté de me demander si les agents sont suffisamment bons pour avoir confiance et j’ai commencé à me demander quelles décisions méritent un point de contrôle. Apparemment, pour les vols, la réponse est une. La réponse à votre cas d’utilisation en est probablement une également.