Parei de confiar nos benchmarks de IA depois de uma semana ruim

Por um tempo, escolhi modelos pela tabela de classificação, e então um modelo que ficou no topo de três paradas me escreveu um parágrafo confiantemente errado sobre uma regra tributária. O benchmark disse que era inteligente. O parágrafo dizia que não tinha ideia do que estava falando.

Os benchmarks medem uma fatia estreita e limpa do trabalho. As tarefas reais são confusas, subespecificadas e cheias de contexto que o teste não incluiu. Um modelo que acerte uma referência de raciocínio ainda pode inventar uma citação para sua pergunta específica.

O que confio agora é o número que vem do meu próprio uso: com que frequência tenho que verificar novamente sua saída antes de colocar meu nome nele. Esse é um benchmark que você constrói fazendo o trabalho, não lendo um gráfico publicado por alguém.

Os laboratórios sabem disso. É por isso que eles oferecem modelos ajustáveis de esforço de pensamento e de roteamento: eles estão admitindo que a pontuação média esconde a parte que importa, que é se está certo no seu trabalho.

Leia os benchmarks da tendência, não o veredicto. Em seguida, execute seu próprio teste de trinta exemplos daquilo que você realmente faz e deixe que esse seja o número de que você se lembra.