Pruebe cada herramienta de inteligencia artificial en una tarea aburrida antes de confiarle una importante
Las demostraciones son tareas diseñadas. Mi método de evaluación compara cada herramienta nueva con el trabajo más aburrido de mi semana y los resultados son sorprendentemente predictivos.
Cada demostración de una herramienta de IA es el mejor de los casos que destaca. Mi método de evaluación va en sentido contrario: le doy a cada herramienta nueva la tarea más aburrida de mi semana real antes de dejar que se acerque a algo que importe. La tarea aburrida es donde el marketing desaparece.
La tarea aburrida tiene propiedades que la demostración no tiene: entradas poco claras, sin fanfarrias de éxito, una fecha límite real de "cuando sea" y el requisito de trabajar un martes por la tarde cuando estoy cansado. Las herramientas de transcripción obtienen mi audio de peor calidad, la llamada grabada junto a una ventana abierta. Las herramientas de escritura reciben mi tarea menos glamorosa: el correo electrónico de actualización que nadie quiere escribir.
Lo que mide la aburrida prueba es la confiabilidad, y la confiabilidad es la única característica que la agrava. Una herramienta que es brillante en la tarea de demostración y deficiente en la mundana le costará más de lo que ahorra, porque no construirá nada sobre lo deficiente. La herramienta que no tiene nada de especial y que siempre funciona se convierte en infraestructura.
La prueba también expone las fricciones de integración que las demostraciones ocultan. La demostración tiene entradas limpias precargadas; my Tuesday tiene un archivo en un formato que la herramienta admite a medias y un flujo de trabajo que primero requiere exportar desde algún lugar. Diez minutos de fricción por uso son una sentencia de muerte para las herramientas diarias e invisibles en una prueba de cinco minutos.
Mi puntuación es una pregunta después de una semana de aburrido examen: ¿lo alcancé sin recordar que existía? Eso es todo. Las herramientas que pasan pasan a ser trabajos reales. Las herramientas que necesitan mi entusiasmo para funcionar han fallado silenciosamente y es mejor aprenderlo en el correo electrónico de actualización que en el entregable del cliente.