O modelo mais barato em que realmente confio
O Haiku 5.5 a um décimo de centavo por token não apenas economizou dinheiro. Mudou quais trabalhos eu me preocupo em automatizar.
Eu costumava reservar chamadas de modelo para tarefas que pareciam valer um preço limite. A US$ 0,10 por milhão de entrada, o Haiku 5.5 removeu esse limite. Agora, uma classificação descartável, uma triagem de spam, uma verificação 'qual destes é o duplicado', tudo recebe uma chamada de modelo porque o custo é um erro de arredondamento.
A mudança de comportamento importava mais do que a poupança. Quando a inferência é quase gratuita, você para de acumulá-la e as pequenas automações que você teria ignorado porque “não vale a pena ligar” começam a existir. É para lá que vão as horas reais.
Ainda não confio nele com o raciocínio de suporte. O indicador de esforço ajuda, mas um modelo de US$ 0,10 que toma uma decisão de US$ 10.000 é uma falsa economia. Eu uso isso para os 80% chatos e escalo os 20% estranhos para algo maior.
A lição não é 'o barato é melhor'. É que o preço muda a forma daquilo que você constrói. Nesse ritmo, vale a pena administrar toda uma classe de pequenos agentes, e o modelo de fronteira fica reservado para os momentos que o merecem.