Lo que los modelos locales realmente desbloquearon este año
Durante la mayor parte del auge de la IA, los modelos interesantes vivieron detrás de la API de otra persona. Este año se abrió una puerta diferente y las personas que la atravesaron no eran quienes esperaba el público principal.
Durante la mayor parte del auge de la IA, los modelos interesantes vivían detrás de la API de otra persona, y usarlos significaba enviar sus datos y pagar por llamada. Este año se abrió una puerta diferente y las personas que la atravesaron no eran quienes esperaba el público principal.
Los lanzamientos de peso abierto hicieron el trabajo. Le Chonk, Mistral Large 4 de Mistral, llegó como una descarga que cualquiera podía ejecutar, lo suficientemente fuerte en código y seguridad como para que los equipos serios lo tomaran en serio sin una factura de nube. GoTo lanzó un modelo de 27 mil millones de parámetros adaptado al indonesio y a cuatro idiomas regionales, brindando a los desarrolladores del Sudeste Asiático una base que no pasa por una nube occidental. La cuestión no era que estos superaran la frontera cerrada; fue que quitaron la dependencia.
Lo que realmente se desbloqueó fue la soberanía y el costo, no la capacidad bruta. Un gobierno regional, un hospital preocupado por el destino de las notas de los pacientes, una startup que no puede soportar el precio por token a gran escala, todos ellos ahora tienen una alternativa creíble basada en su propio hardware. Para ellos, un modelo ligeramente más pequeño que controlan supera a uno más grande que alquilan.
No le diría a un usuario ocasional que configure una GPU y haga pesas esta noche; las API cerradas siguen siendo el camino más fácil para la mayoría. Pero el suelo se movió. La pregunta ya no es si podemos construir el nuestro, sino si deberíamos hacerlo, y para un conjunto cada vez mayor de equipos la respuesta es finalmente sí.
