El complejo industrial de referencia te está mintiendo
Cada modelo "supera a GPT en este punto de referencia." Casi ninguno de esos números significa lo que implica el tweet.
Un punto de referencia es una prueba que alguien escribió. En el momento en que un modelo está entrenado para dominarlo, la prueba ya no mide lo que crees que mide. Esto no es una conspiración. Así es como funciona la medición.
He perdido la cuenta de los anuncios en los que un modelo "supera el rendimiento humano" en la tarea X, y la tarea X resulta ser un cuestionario de opción múltiple con una clave de respuesta conocida que el modelo puede haber visto.
Los puntos de referencia honestos son los aburridos: ¿responde a mis tickets de soporte reales correctamente, en mis datos reales, la mayor parte del tiempo? Nadie tuitea eso porque no es un número que puedas poner en una tabla de clasificación.
Cuando evalúes una herramienta, ignora la tabla de clasificación. Ejecútalo en diez cosas reales que haces. El marcador es para recaudar fondos. Tu bandeja de entrada es para la verdad.
Nada de esto significa que los modelos sean malos. Son buenos. Simplemente no son tan buenos como sus propios comunicados de prensa, y no son tan malos como afirman sus críticos.