Los modelos pequeños se están comiendo la demostración
La impresionante demostración en vivo es cada vez más un modelo pequeño que hace una cosa estrecha a la perfección. La frontera es excesiva para la mayor parte.
Mire los carretes de demostración últimamente y aparecerá un patrón: la parte llamativa suele ser un modelo pequeño y especializado que hace un trabajo con una precisión aterradora, no un gigante fronterizo. Un ticket de soporte de enrutamiento decisor de 27 mil millones de parámetros, un pequeño modelo de transcripción que supera a Whisper en una CPU, un modelo de 2 mil millones que hace una llamada de sí o no por unos centavos.
Esta es la arquitectura correcta. Los modelos Frontier son maravillosos generalistas y tienen un valor terrible para una tarea que se ejecuta diez millones de veces. La economía cambia drásticamente una vez que el volumen es alto: un modelo de decisión de 0,04 dólares por millón aplasta a otro de 2 dólares con la misma etiqueta.
Para los constructores, esto significa que la decisión inteligente suele ser empezar poco a poco. Demuestre que la tarea funciona con un modelo enfocado y luego escale a un modelo de frontera solo para los casos que realmente lo necesiten. La mayoría de los oleoductos son en un 95% rutinarios y un 5% difíciles, y tratarlos todos como de frontera es la forma en que los presupuestos explotan.
La demostración que gane el próximo año no será "mira lo grande que es nuestro modelo". Será 'mira lo poco que cuesta hacer esto perfectamente'. Los modelos pequeños que se comen la demostración solo cuestan que la realidad llegue a tiempo.