A inundação de peso aberto significa que finalmente hospedo por conta própria as coisas sensíveis

Meta abertura Muse Spark Open e Mistral prometendo pesos do Large 4 é o início de algo prático, não apenas ideológico.

Para equipes que não podem enviar dados para a API de outra pessoa, a auto-hospedagem costumava significar um modelo mais fraco. Essa lacuna está diminuindo. Um modelo de trilhões de parâmetros que você pode baixar muda o que significa “IA privada”.

O problema são as operações. Pesos abertos significam que você possui os servidores, as grades de proteção e a culpa. Para um desenvolvedor solo, é uma GPU; para uma empresa é uma plataforma e uma contratação.

Não estou cancelando minhas assinaturas de API. Estou transferindo a única carga de trabalho em que os dados que saem do prédio nunca foram aceitáveis para o hardware que controlo.

O híbrido – alugar a fronteira, possuir o sensível – tornou-se muito mais prático este mês, e essa é a história que vale a pena acompanhar.