Ejecuté modelos de IA en mi propia máquina durante un mes: notas honestas
Los modelos locales son realmente buenos ahora y realmente diferentes. Un mes de uso diario, con un registro honesto de lo que funcionó y lo que no.
Durante un mes moví todas las tareas que podían trasladarse a modelos locales que se ejecutaban en mi propia máquina: redacción, resúmenes, finalización de código y mucha experimentación. El resumen honesto: lo local es real, lo local es diferente y la brecha con los modelos de nube es más estrecha de lo que sugieren los puntos de referencia y más amplia de lo que admiten los entusiastas.
Lo que realmente funcionó: los trabajos siempre disponibles. El resumen, la redacción de los primeros pases, la reescritura y la finalización del código se ejecutaron localmente durante todo el mes sin pérdida de calidad perceptiva para mis propósitos, y el alivio de la privacidad no es hipotético; Dejé de redactar notas antes de resumirlas, lo cual es un cambio de comportamiento que solo ocurre cuando los datos realmente no desaparecen.
Lo que me sorprendió: la latencia es una característica que nadie valora. Un modelo local que responde en medio segundo cambia la forma de usarlo, como lo hacía un cuadro de búsqueda rápida. Le hice preguntas descartables con las que nunca molestaría a un modelo de nube, y en las preguntas descartables resultó ser donde residía gran parte del valor.
Lo que no funcionó: los trabajos de gran razonamiento. El análisis de documentos largos, el código complejo de varios pasos y cualquier cosa en la que equivocarse sea costoso todavía pasaron a los modelos de nube de frontera en la segunda semana. Los modelos locales fallan con confianza exactamente en las tareas en las que más se necesita una segunda opinión, lo cual es una combinación peligrosa.
El mes terminó con una división que espero mantener: local para la capa de alto volumen, de bajo riesgo y sensible a la privacidad; nube para la capa de trabajo profundo. El costo del hardware es real y hundido ahora. El marco honesto para cualquiera que esté considerando esto: el local no es un reemplazo, es un segundo nivel y finalmente es lo suficientemente bueno como para valer un nivel.