Sonnet 5.5 revendique 30% plus rapide. Ma boîte de réception a remarqué quelque chose de différent
Tout le monde a rapporté le benchmark. Personne n’a signalé l’effet de la vitesse sur la forme d’une journée de travail. J'ai couru mon lundi normal deux fois – une par modèle.
Sonnet 5.5 lancé avec des chiffres : sortie 30 % plus rapide, coût par tâche jusqu'à 30 % inférieur, Terminal-Bench à 70,6 % contre 10,3 % pour Sonnet 5. Bien. Les benchmarks ne payent pas mes factures, j'ai donc mené une expérience délibérée : un lundi complet de mon travail réel deux fois, une fois sur chaque modèle, mêmes tâches, mon propre timing.
Les tâches n'étaient pas glamour : quatorze e-mails de clients, une réécriture du brief de projet, quelques paragraphes de point d'interrogation du contrat, un tableau des résultats de l'enquête résumés et la version préliminaire du bulletin d'information hebdomadaire. Exactement le « travail quotidien bien ciblé » pour lequel Anthropic prétend que Sonnet 5.5 est conçu. Sur Sonnet 5, les portions d'IA de la journée duraient environ 2 heures. Le 5.5, environ 80 minutes.
Mais la découverte intéressante n’a pas été de quelques minutes. Avec l'ancien modèle, mon modèle consistait en un traitement par lots et une attente : mettre en file d'attente plusieurs invites, passer à autre chose, revenir. Avec le plus rapide, j'ai arrêté le traitement par lots. Demandez, obtenez, avancez, demandez à nouveau. Le flux de travail a changé de forme car la latence a dépassé mon seuil de changement d'attention. Cela vaut plus que les 30 % bruts, et c'est pourquoi les améliorations de vitesse s'accumulent étrangement.
La qualité a résisté aux endroits que j'ai pu mesurer. Les versions préliminaires des e-mails nécessitaient le même nombre de modifications, le brief était sans doute plus strict et les réponses contractuelles signalaient les mêmes clauses. Le saut Terminal-Bench suggère de réels gains de capacités en matière de codage agent, que je ne peux pas personnellement vérifier en une journée de tri des e-mails – mais rien n'a empiré dans mon couloir.
La réduction des coûts est ici la révolution tranquille. Ma facture mensuelle avec la même charge de travail a sensiblement diminué, et pour les équipes exécutant des milliers de tâches par jour, 30 % correspondent au calcul des effectifs. Pour moi seul, c'est la différence entre l'abonnement qui en vaut évidemment la peine et le fait que je hausse les épaules au renouvellement. Peu coûteuse et rapide, c'est ainsi que l'IA cesse d'être un élément de campagne auquel vous pensez.