Cómo se ve una buena producción de IA (rara vez es lo que espera)
Después de dos años de leer borradores de IA, los signos de calidad no son el pulido ni la gramática. Son tres cosas más tranquilas.
Cuando las personas evalúan el resultado de la IA, evalúan el pulido: gramática, flujo, estructura. El polaco es algo que está en juego y casi no tiene sentido. Después de dos años de trabajar diariamente con texto generado, califico según tres señales más silenciosas y predicen la utilidad mucho mejor.
La primera es la especificidad que no podría haberse generado sin mi aportación. Si un borrador contiene un detalle que se remonta a algo que le dije, el modelo está trabajando conmigo. Si cada frase pudiera aparecer en cualquier documento sobre el tema, estoy leyendo el promedio de Internet, y el promedio de Internet no vale nada por definición.
El segundo es el manejo de lo que no sabe. Un buen resultado marca su incertidumbre: "No estoy seguro del cronograma aquí" o de una brecha explícita. La producción segura que llena todos los huecos es peor que la producción honesta con huecos visibles, porque los huecos los puedo llenar y los errores confiados los tengo que cazar. Esta señal aparece en el primer párrafo, lo que la convierte en una prueba rápida.
El tercero es la resistencia. Los mejores resultados que he recibido discutieron conmigo: rechazaron mi encuadre, señalaron que mi estructura enterró el punto. La adulación se siente placentera y no produce nada. Un borrador que no está de acuerdo ya ha generado el pensamiento que estaba tratando de evitar.
Lo que ya no califico: gramática (trivialmente corregible), extensión (a un recorte de distancia) y tono (una instrucción). La gente rechaza los borradores por razones superficiales y acepta borradores que son vacíos con confianza. Si cambias esa atención, tu tasa de aciertos con las mismas herramientas aproximadamente se duplica.