Le multimodal est génial jusqu'à ce que vous en ayez besoin pour être exact

J'aime le fait qu'un chat puisse désormais prendre une capture d'écran, un PDF, ainsi qu'une question et une réponse en même temps. Ensuite, je lui ai demandé de lire un seul numéro de série sur une facture et il m'a donné un chiffre erroné, et j'ai presque envoyé un paiement au mauvais endroit.

Les modèles multimodaux sont brillants dans l’essentiel et bâclés dans les détails. Ils résumeront parfaitement un document et transposeront un chiffre sans s'en apercevoir. Qu'est-ce que cela veut dire, ils sont magiques. Pour copier ceci exactement, ils sont un handicap.

La solution consiste à diviser le travail. Laissez le modèle faire la compréhension, puis demandez à l’humain de faire la seule vérification qui compte. Je lis maintenant moi-même les chiffres critiques et laisse le modèle gérer tout ce qui les entoure.

Ce n'est pas une plainte. C'est une frontière. L'outil est un lecteur, pas un employé, et le traiter comme un employé est la façon dont l'argent est transféré vers le mauvais compte.

Utilisez le multimodal pour le sens, pas pour les détails. L’essentiel est gratuit. La ligne exacte dépend toujours de vous, et prétendre le contraire est la façon dont les petites erreurs deviennent réelles.