Modelos pequenos estão comendo a demonstração
A impressionante demonstração ao vivo é cada vez mais um modelo minúsculo fazendo uma coisa estreita com perfeição. A fronteira é um exagero na maior parte.
Assista aos rolos de demonstração recentemente e um padrão aparece: a parte chamativa geralmente é um modelo pequeno e especializado fazendo um trabalho com uma precisão assustadora, não um gigante da fronteira. Um ticket de suporte de roteamento decisor de 27 bilhões de parâmetros, um pequeno modelo de transcrição superando o Whisper em uma CPU, um modelo de 2 bilhões fazendo uma chamada sim/não por centavos.
Esta é a arquitetura certa. Os modelos de fronteira são generalistas maravilhosos e têm um valor terrível para uma tarefa que você executa dez milhões de vezes. A economia muda drasticamente quando o volume é alto: um modelo de decisão de US$ 0,04 por milhão esmaga um modelo de US$ 2 no mesmo rótulo.
Para os construtores, significa que a jogada inteligente é muitas vezes começar aos poucos. Prove que a tarefa funciona com um modelo focado e, em seguida, escale para um modelo de fronteira apenas para os casos que realmente precisam dele. A maioria dos pipelines são 95% rotineiros e 5% difíceis, e tratar tudo isso como uma classe de fronteira é a forma como os orçamentos explodem.
A demonstração que vencerá no próximo ano não será 'veja quão grande é o nosso modelo'. Será 'veja como custa pouco fazer isso com perfeição'. Modelos pequenos comendo a demonstração são apenas uma realidade de custo que chega dentro do prazo.