Pesos abertos, final de outubro: Le Chonk de Mistral e a corrida para download

A parede de peso aberto continuou rachando este mês. O Large 4 da Mistral – um modelo multimodal de um trilhão de parâmetros totais com 49 bilhões de ativos e um contexto de um milhão de tokens – está disponível na visualização da API desde 6 de outubro, e os pesos para download estão programados para cair por volta de 27 de outubro após o red-teaming. Com preço de lançamento de US$ 0,68 de entrada/US$ 2,09 de saída por milhão de tokens, ele supera o custo da maioria dos rivais fechados.

O Beam da Reflection AI, um modelo esparso de mistura de especialistas de 501 bilhões de parâmetros com um contexto de um milhão de tokens voltado para codificação e raciocínio, deve abrir seus pesos ainda este mês sob uma licença Apache 2.0. O Muse Wonder da Meta, lançado em 12 de outubro, custa US$ 4 de entrada / US$ 20 de saída e está supostamente perto da fronteira, embora seus padrões de dados – ele treina nos envios do usuário por padrão – mereçam uma leitura cuidadosa antes que alguém os desenvolva.

O padrão é consistente: os laboratórios fechados mantêm a fronteira absoluta, mas a camada “suficientemente boa e livre para auto-hospedar” está sendo preenchida rapidamente. Para equipes que não podem enviar dados para a API de outra pessoa, essa camada agora é onde reside o trabalho real de produção, e este mês tornou o menu muito maior.

O problema não mudou: pesos abertos significam que você é o dono das operações – GPUs, serviços, proteções e a culpa quando o modelo diz algo estúpido. Hospede por conta própria a única carga de trabalho em que os dados que saem do prédio não são necessários e alugue o restante. O híbrido é mais barato de qualquer maneira, e outubro tornou-o prático.

Não estou cancelando minhas assinaturas de API. Estou transferindo a carga de trabalho sensível para o hardware que controlo, e os lançamentos deste mês finalmente tornaram isso uma opção real, em vez de uma curiosidade de pesquisa.