Dejé de confiar en los puntos de referencia de la IA después de una mala semana

Durante un tiempo elegí modelos según la clasificación, y luego un modelo que encabezó tres listas me escribió un párrafo claramente equivocado sobre una norma fiscal. El punto de referencia dijo que era inteligente. El párrafo decía que no tenía idea de lo que estaba hablando.

Los puntos de referencia miden una porción de trabajo estrecha y limpia. Las tareas reales son confusas, poco especificadas y llenas de contexto que la prueba no incluyó. Un modelo que supere un punto de referencia de razonamiento aún puede inventar una cita sobre su pregunta específica.

En lo que confío ahora es en el número que proviene de mi propio uso: ¿con qué frecuencia tengo que volver a verificar su resultado antes de ponerle mi nombre? Ese es un punto de referencia que se construye haciendo el trabajo, no leyendo un gráfico que alguien publicó.

Los laboratorios lo saben. Es por eso que ofrecen modelos de enrutamiento y esfuerzo de pensamiento ajustables: admiten que la puntuación promedio oculta la parte que importa, que es si es adecuado para su trabajo.

Lea los puntos de referencia de la tendencia, no el veredicto. Luego ejecuta tu propia prueba de treinta ejemplos sobre lo que realmente haces y deja que ese sea el número que recuerdas.