도메인 지식이 즉각적인 트릭을 능가함: 불편한 실험
나는 프롬프트 엔지니어링 친구와 도메인 전문가에게 동일한 문제에 대해 동일한 AI 툴킷을 제공했습니다. 그 결과 나의 즉석 사냥 취미가 끝났다.
저는 지난 분기에 불편한 실험을 했습니다. 신속한 기술을 수집하는 친구와 우리 영역을 깊이 알고 있는 동료에게 동일한 AI 도구와 동일한 문제가 주어졌습니다. 프롬프트 수집기는 더욱 우아한 프롬프트를 생성했습니다. 도메인 전문가가 유용한 답변을 내놓았습니다. 이 두 가지 사실 사이의 격차는 AI 기술에 대한 제가 생각하는 방식을 재정리했습니다.
메커니즘은 출력에서 볼 수 있었습니다. 우아한 프롬프트는 역할, 맥락, 제약, 형식 등 일반적으로 잘 구조화되었습니다. 그들이 포함할 수 없는 것은 우리 영역에서 실제로 어떤 제약 조건이 중요한지, 어떤 실패 모드가 일반적인지, '정답' 중 어떤 부분이 실제로 잘못되었는지에 대한 지식이었습니다. 도메인 전문가의 지저분한 프롬프트가 그 모든 것을 전달했습니다.
이것은 내가 야생에서 계속 보았던 패턴을 설명합니다. 즉, 캐주얼한 AI 습관을 가진 전문가가 정교한 시스템을 갖춘 열성팬보다 더 나은 성과를 거두는 것입니다. 그것은 결코 속삭임에 관한 것이 아닙니다. 전문가의 4문장 프롬프트에는 20년간의 암묵적인 사양이 포함되어 있으며 사양은 항상 어려운 부분이었습니다. 신속한 기술은 쉬운 20%를 최적화합니다.
신속한 엔지니어링 산업에 대한 불편한 의미: 대부분은 결코 병목 현상이 아니었던 부분을 최적화하도록 사람들에게 가르치는 것입니다. 실제 기술(구조화된 출력, 소수의 예시, 반복 규율)이 있지만 이는 마지막 10%에 불과하며 무엇을 요청해야 하는지 알려주는 도메인 지식이 없으면 쓸모가 없습니다.
이에 따라 내 자신의 관행도 바뀌었습니다. 나는 프롬프트 트릭 찾기를 중단하고 도메인 노트, 즉 내 프롬프트를 제공하는 '중요한 것과 일반적으로 무엇이 잘못되는지' 문서를 작성하기 시작했습니다. 프롬프트는 더 짧아졌고 출력은 더 좋아졌습니다. 이는 실험의 결과를 한 문장으로 표현한 것입니다. 즉, 지식이 내내 프롬프트였습니다.