Enviamos el trabajo de expertos más rápido de lo que podemos verificar

Los 722 artículos de matemáticas escritos por IA de OpenAI en un día es el titular que debería asustar a los constructores más de lo que los reconforta.

Muchas pruebas enviadas con versiones Lean una computadora puede verificar línea por línea, lo cual es real y útil. Pero el volumen en sí fue calificado de "slopocalipsis" por los matemáticos que objetaron el proceso, y ninguno resolvió un problema del Premio del Milenio.

La lección no es sobre matemáticas. Es que la IA ahora puede producir trabajo de nivel experto más rápido de lo que podemos verificarlo. El cuello de botella nunca fue la generación. Fue una verificación, y todavía lo es.

Celebre la capacidad, pero desarrolle la verificación. Un mundo que no puede verificar lo que genera es un mundo que envía tonterías seguras a escala.

Trato cada borrador de IA como el primer borrador de un pasante muy rápido y muy seguro. Todavía leo la obra.