$0.04 결정 모델이 내 프롬프트 엔지니어링의 많은 부분을 조용히 대체하고 있습니다.
내 '영리한' 프롬프트의 절반은 트렌치 코트를 입은 분류에 불과했습니다.
저는 프론티어 모델이 스팸 여부, 계층 A 또는 B, 에스컬레이션 또는 종료 등을 결정하도록 정교한 프롬프트를 작성하곤 했습니다.
Perplexity의 pplx 결정자는 백만 토큰당 0.04달러이고 동료들은 그러한 프롬프트가 값비싼 극장이라는 것을 깨닫게 해주었습니다.
20억 개의 매개변수 결정 모델은 한 번의 패스로 분류를 수행하고 구문 분석할 산문이 아닌 깨끗한 레이블을 반환합니다.
나는 그 호출 중 12개를 큰 모델에서 옮겼고 사용자가 차이를 느끼지 못한 채 요금이 떨어졌습니다.
신속한 엔지니어링은 죽지 않았지만 그 중 일부는 결코 실제로 자극을 주지 않았습니다. 우리가 너무 많은 비용을 지불한 것은 의사결정이었습니다.
