Pesos abiertos, finales de octubre: Le Chonk de Mistral y la carrera por la descarga

El muro de peso abierto siguió resquebrajándose este mes. El Large 4 de Mistral, un modelo multimodal de un billón de parámetros totales con 49 mil millones activos y un contexto de un millón de tokens, ha estado activo en vista previa de API desde el 6 de octubre, y los pesos descargables están programados para caer alrededor del 27 de octubre después del equipo rojo. Con un precio de lanzamiento de $ 0,68 de entrada / $ 2,09 de salida por millón de tokens, el costo es inferior al de la mayoría de los rivales cerrados.

Se espera que Beam de Reflection AI, un modelo de mezcla dispersa de expertos de 501 mil millones de parámetros con un contexto de un millón de tokens destinado a la codificación y el razonamiento, abra sus pesos a finales de este mes bajo una licencia Apache 2.0. Muse Wonder de Meta, lanzado el 12 de octubre, cuesta $ 4 de entrada / $ 20 de salida y, según se informa, está cerca de la frontera, aunque sus datos predeterminados (se entrena en los envíos de los usuarios de forma predeterminada) merecen una lectura cuidadosa antes de que alguien desarrolle sobre él.

El patrón es consistente: los laboratorios cerrados mantienen la frontera absoluta, pero la capa de "suficientemente bueno y libre para autohospedarse" se está llenando rápidamente. Para los equipos que no pueden enviar datos a la API de otra persona, esa capa es ahora donde reside el trabajo de producción real, y este mes amplió mucho el menú.

El problema no ha cambiado: los pesos abiertos significan que usted es dueño de las operaciones: GPU, servicio, barreras de seguridad y la culpa cuando el modelo dice algo estúpido. Hospede usted mismo la carga de trabajo en la que los datos que salen del edificio no son iniciales y alquile el resto. El híbrido es más barato de cualquier manera y octubre lo hizo práctico.

No voy a cancelar mis suscripciones API. Estoy trasladando la carga de trabajo sensible al hardware que controlo, y los lanzamientos de este mes finalmente hicieron de esa una opción real en lugar de una curiosidad de investigación.