J'ai exécuté des modèles d'IA sur ma propre machine pendant un mois : notes honnêtes
Les modèles locaux sont désormais véritablement bons et véritablement différents. Un mois d'utilisation quotidienne, avec un registre honnête de ce qui a fonctionné et de ce qui n'a pas fonctionné.
Pendant un mois, j'ai déplacé toutes les tâches qui pouvaient être transférées sur des modèles locaux exécutés sur ma propre machine : rédaction, résumé, complétion de code et beaucoup d'expérimentation. Le résumé honnête : le local est réel, le local est différent, et l’écart avec les modèles cloud est plus étroit que ne le suggèrent les références et plus large que ne l’admettent les passionnés.
Ce qui a vraiment fonctionné : les tâches permanentes. La synthèse, la rédaction des premières passes, la réécriture et l'achèvement du code se sont déroulés localement tout le mois sans perte de qualité perceptive pour mes besoins, et le soulagement de la confidentialité n'est pas hypothétique ; J'ai arrêté de rédiger des notes avant de les résumer, ce qui constitue un changement de comportement qui ne se produit que lorsque les données ne partent vraiment pas.
Ce qui m'a surpris : la latence est une fonctionnalité que personne n'apprécie. Un modèle local répondant en une demi-seconde modifie la façon dont vous l'utilisez, comme le faisait un champ de recherche rapide. Je lui ai posé des questions jetables avec lesquelles je ne m'embêterais jamais avec un modèle cloud, et ces questions jetables se sont avérées être là où résidait une grande partie de la valeur.
Ce qui n’a pas marché : les gros travaux de raisonnement. L'analyse de documents longs, le code complexe en plusieurs étapes et tout ce qui coûte cher se tromper étaient encore passés aux modèles cloud frontières dès la deuxième semaine. Les modèles locaux échouent en toute confiance dans les tâches pour lesquelles vous avez le plus besoin d’un deuxième avis, ce qui constitue une combinaison dangereuse.
Le mois s'est terminé sur une répartition que je compte conserver : local pour la couche à volume élevé, à faibles enjeux et sensible à la confidentialité ; cloud pour la couche de travail en profondeur. Le coût du matériel est réel et irrécupérable désormais. Le cadre honnête pour quiconque l’envisage : le local n’est pas un remplacement, c’est un deuxième niveau, et il est finalement assez bon pour valoir un niveau.