O complexo industrial de referência está a mentir-lhe
Cada modelo "supera o GPT neste benchmark." Quase nenhum desses números significa o que o tweet implica.
Um benchmark é um teste que alguém escreveu. No momento em que um modelo é treinado para aceitá-lo, o teste não mede mais o que você acha que ele mede. Isso não é uma conspiração. É assim que a medição funciona.
Perdi a conta de anúncios em que um modelo "supera o desempenho humano" na tarefa X, e a tarefa X acaba sendo um questionário de múltipla escolha com uma chave de resposta conhecida que o modelo pode ter visto.
Os benchmarks honestos são os chatos: ele responde aos meus tickets de suporte reais corretamente, nos meus dados reais, na maioria das vezes. Ninguém tuíta isso porque não é um número que se pode colocar na tabela de classificação.
Ao avaliar uma ferramenta, ignore a tabela de classificação. Execute-o em dez coisas reais que você faz. O painel de avaliação é para angariação de fundos. Sua caixa de entrada é para a verdade.
Nada disso significa que os modelos são ruins. Eles são bons. Eles simplesmente não são tão bons quanto os seus próprios comunicados de imprensa, e não são tão ruins quanto os seus críticos afirmam.