Os benchmarks não predizem seu fluxo de trabalho (portanto, pare de escolher ferramentas por painel de avaliação)

A cada poucas semanas, um novo modelo supera os benchmarks, o tópico de lançamento declara que tudo mudou e milhares de pessoas trocam de ferramentas durante a noite para perseguir um placar. Eu mesmo fiz isso por um ano, então percebi algo embaraçoso: os resultados do meu trabalho não tinham correlação com a posição nas tabelas de classificação das ferramentas que usei. A diferença entre o desempenho do benchmark e o desempenho do fluxo de trabalho não é um erro de arredondamento. É estrutural e entender o porquê muda a forma como você deve escolher as ferramentas.

A primeira razão estrutural: compara tarefas de teste, você tem fluxos de trabalho. Uma pergunta de referência é independente, com uma resposta verificável, realizada por um novo modelo sem contexto. Seu trabalho chega no meio do projeto, envolto em sua história, suas convenções, suas restrições, e sua produção deve se integrar a tudo o mais que você fez neste mês. O gênio de uma única volta que não consegue se lembrar da decisão de ontem é menos útil para você do que o modelo um pouco menos brilhante que se encaixa no seu pipeline, e os benchmarks não conseguem ver os pipelines.

A segunda: os benchmarks são médios, seu trabalho não. O placar é uma média de milhares de tarefas, e sua carga de trabalho real é uma distribuição distorcida de talvez seis tipos de tarefas. Um modelo três pontos abaixo, em média, pode ser dramaticamente melhor em seu mix específico, e o número agregado não é apenas pouco informativo aqui, é enganoso, porque avalia tarefas que você nunca realiza e desconta aquelas que você faz o dia todo. Observei um modelo de classificação inferior vencer o campeão de forma consistente em minhas tarefas adjacentes à transcrição por um trimestre, enquanto a indústria comemorava a nova pontuação do campeão.

A terceira: os números medem a capacidade, você experimenta confiabilidade. Um modelo que é brilhante noventa por cento das vezes e que está confiantemente errado no resto pode superar aquele que é bom noventa e cinco por cento das vezes e sinalizar sua incerteza, mas para o trabalho profissional o segundo vale mais, porque seu custo de revisão não é linear em termos de correção, ele é dominado pelos fracassos que parecem sucessos. Os benchmarks raramente avaliam a distribuição de falhas, e a distribuição de falhas é o seu custo real.

O substituto que encontrei é embaraçosamente de baixa tecnologia: uma referência pessoal, construída a partir do meu último mês de trabalho. Dez a quinze tarefas reais, salvas com suas contribuições e o padrão que tiveram que cumprir, são executadas novamente em qualquer ferramenta candidata, pontuadas com base no resultado e no custo de revisão, não na capacidade de impressão. A construção leva uma tarde e previu corretamente minha satisfação com cada escolha de ferramenta, de uma forma que nenhuma tabela de classificação jamais fez. Os benchmarks públicos ainda são importantes para rastrear a fronteira e para escolher entre modelos sobre os quais você nada sabe. Mas para as ferramentas que afetam o seu trabalho diário, o único placar que prevê alguma coisa é o seu, e você é o único que pode construí-lo.