Los puntos de referencia no predecirán su flujo de trabajo (así que deje de elegir herramientas por marcador)

Cada pocas semanas, un nuevo modelo encabeza los puntos de referencia, el hilo de lanzamiento declara que todo ha cambiado y miles de personas cambian de herramienta de la noche a la mañana para perseguir un marcador. Hice esto durante un año y luego noté algo vergonzoso: los resultados de mi trabajo no tenían correlación con la posición en la clasificación de las herramientas que utilizaba. La brecha entre el rendimiento de las pruebas comparativas y el rendimiento del flujo de trabajo no es un error de redondeo. Es estructural y comprender por qué cambia la forma en que se deben seleccionar las herramientas.

La primera razón estructural: las tareas de prueba de puntos de referencia, tiene flujos de trabajo. Una pregunta de referencia es autónoma, con una respuesta verificable, realizada por un modelo nuevo sin contexto. Su trabajo llega a mitad del proyecto, envuelto en su historia, sus convenciones, sus limitaciones y su producción debe integrarse con todo lo demás que realizó este mes. El genio de un solo turno que no puede recordar la decisión de ayer le resulta menos útil que el modelo un poco menos brillante que cabe en su canalización, y los puntos de referencia no pueden ver las canalizaciones.

El segundo: los puntos de referencia son promedio, tu trabajo no. El marcador es un promedio entre miles de tareas y su carga de trabajo real es una distribución sesgada de quizás seis tipos de tareas. Un modelo tres puntos más bajo en promedio puede ser dramáticamente mejor en su combinación específica, y el número agregado no sólo no es informativo aquí, sino que es engañoso, porque valora las tareas que nunca hace y descuenta las que hace todo el día. Vi a un modelo de menor rango vencer al campeón consistentemente en mis tareas adyacentes a la transcripción durante un trimestre mientras la industria celebraba la nueva puntuación del campeón.

El tercero: los números miden la capacidad, se experimenta confiabilidad. Un modelo que es brillante el noventa por ciento de las veces y claramente equivocado el resto puede superar a uno que es bueno el noventa y cinco por ciento de las veces y señala su incertidumbre, pero para el trabajo profesional el segundo vale más, porque el costo de su revisión no es lineal en cuanto a corrección, está dominado por los fracasos que parecen éxitos. Los puntos de referencia rara vez valoran la distribución de fallas, y la distribución de fallas es su costo real.

El reemplazo que elegí es vergonzosamente de baja tecnología: un punto de referencia personal, construido a partir de mi último mes de trabajo. De diez a quince tareas reales, guardadas con sus aportes y el estándar que debían cumplir, se volvieron a ejecutar con cualquier herramienta candidata, se calificaron según el resultado y el costo de revisión, no por su impresionante calidad. Se necesita una tarde para construirlo y ha predicho correctamente mi satisfacción con cada elección de herramienta desde entonces, de una manera que ninguna tabla de clasificación lo hizo nunca. Los puntos de referencia públicos siguen siendo importantes para rastrear la frontera y elegir entre modelos de los que no se sabe nada. Pero en el caso de las herramientas que afectan a tu trabajo diario, el único marcador que predice algo es el tuyo, y tú eres el único que puede construirlo.