El conocimiento del dominio supera los trucos rápidos: un experimento incómodo
Le di a un amigo ingeniero rápido y a un experto en el dominio el mismo conjunto de herramientas de inteligencia artificial para el mismo problema. El resultado puso fin a mi afición por la caza rápida.
Realicé un experimento incómodo el último trimestre: un amigo que recopila técnicas rápidas y un colega que simplemente conoce profundamente nuestro dominio recibieron las mismas herramientas de inteligencia artificial y el mismo problema. El coleccionista de mensajes produjo mensajes más elegantes. El experto en el dominio produjo la útil respuesta. La brecha entre esos dos hechos reorganizó mi forma de pensar sobre las habilidades de IA.
El mecanismo era visible en las salidas. Las elegantes indicaciones estaban genéricamente bien estructuradas: función, contexto, limitaciones, formato. Lo que no pudieron contener fue el conocimiento de qué restricciones realmente importan en nuestro dominio, qué modos de falla son comunes y qué parte de la respuesta "correcta" es realmente incorrecta en la práctica. Las confusas indicaciones del experto en el dominio llevaron todo eso.
Esto explica un patrón que seguía viendo en la naturaleza: expertos con hábitos casuales de IA superando a los entusiastas con sistemas elaborados. Nunca se trató de la inspiración. La pauta de cuatro frases del experto contiene veinte años de especificación implícita, y la especificación siempre fue la parte difícil. La técnica rápida optimiza el 20 por ciento fácil.
La incómoda implicación para la industria de la ingeniería rápida: la mayor parte está enseñando a la gente a optimizar la pieza que nunca fue el cuello de botella. Existen técnicas reales (resultados estructurados, ejemplos de pocas tomas, disciplina de iteración), pero son el último 10 por ciento y no tienen valor sin el conocimiento del dominio que le dice qué pedir.
Mi propia práctica cambió en consecuencia: dejé de buscar trucos de indicaciones y comencé a escribir notas de dominio, los documentos de "lo que importa y lo que normalmente sale mal" que alimentan mis indicaciones. Las indicaciones se hicieron más cortas y los resultados mejoraron, lo cual es el resultado del experimento en una frase: el conocimiento fue la indicación todo el tiempo.