30분 안에 새로운 AI 도구를 평가하는 방법(주말을 먹기 전)
대부분의 도구 평가는 몇 주 동안 절반 구성으로 진행됩니다. 이 30분 프로토콜, 실제 작업 1개, 실패 조사 2개, 통합 확인 1개로 잘못된 후보를 빠르게 제거합니다.
AI 도구를 평가할 때의 문제는 어렵다는 것이 아니라 무한하다는 것입니다. 시험판은 주말 구성, 비교 일주일, 절반 채택 림보에서 1/4을 먹을 수 있습니다. 고정된 프로토콜을 사용하여 평가를 30분으로 압축했는데 그 잔인함이 특징입니다. 대부분의 도구는 10분 안에 실패해야 하며 살아남은 도구는 시간을 투자할 가치가 있습니다.
1~5분: 제품을 만지기 전에 작업 설명을 작성하세요. 수행해야 하는 작업에 대한 한 문장, 이미 존재하는 것과 연결해야 하는 방법에 대한 문장, 종료하게 만드는 제약 조건, 가격, 개인 정보 보호, 출력 형식에 대한 문장입니다. 이것은 데모가 협상할 수 없는 체크리스트이며, 먼저 작성하면 평가가 감탄으로 흘러가는 것을 방지할 수 있습니다. 당신은 인상적인 것을 쇼핑하고 있는 것이 아닙니다. 당신은 공석을 위해 채용하고 있습니다.
6~15분: 하나의 실제 작업을 끝까지 수행합니다. 온보딩 흐름의 샘플 파일이 아니라, 이번 주 실제 책상에서 가져온 실제 파일로, 보기 흉한 입력과 실제 출력 요구 사항이 포함되어 있습니다. 엔드투엔드 규칙은 평가가 살거나 죽는 곳입니다. 왜냐하면 도구는 데모에서는 뛰어나고 가장자리에서는 비틀거리기 때문입니다. 가장자리, 내보내기 형식, 누락된 통합, 실제 볼륨을 처리하는 방식은 바로 데모가 건너뛰도록 설계된 것이기 때문입니다. 도구가 이 창에서 실제 작업을 완료할 수 없는 경우 이는 준비 단계가 아니라 판정입니다.
16~25분: 두 개의 실패 프로브. 첫째, 추악한 입력: 도구가 실제로 수신하게 될 자료의 최악의 버전, 시끄러운 오디오, 모순된 요약, 손상된 파일입니다. 큰 소리로 실패하는지 아니면 자신있게 실패하는지 알아야 하기 때문입니다. 둘째, 부하 테스트: 샘플이 아닌 실제 볼륨입니다. 왜냐하면 요청당 비용과 속도 제한은 규모에 따라만 나타나며 10단위로 벌금이 책정된 도구가 400단위로 터무니없을 수 있기 때문입니다. 어떻게 실패하는지 정확히 기록해 두십시오. 무엇이 잘못되었는지 알려주는 도구는 어깨를 으쓱하는 약간 더 나은 도구보다 더 가치가 있습니다.
26분에서 30분: 세 가지 질문이 있는 결정. 실제 작업을 완료했나요? 실패가 전달되었는가? 그리고 사람들이 건너뛰는 질문인 전환 비용은 얼마입니까? 확립된 스택 내에서 약간 더 나은 도구는 일반적으로 손실이기 때문입니다. 그런 다음 한 줄을 쓰고 조건을 붙여 고용하거나 거부하거나 재방문하고 이를 존중합니다. 프로토콜의 가치는 시간이 지남에 따라 더욱 복잡해집니다. 서면 평결은 귀하가 실제로 가치 있게 여기는 것에 대한 기록이 되고 고용 패턴, 항상 필요한 통합, 절대 용서할 수 없는 실패 모드는 귀하가 작성하게 될 가장 유용한 제품 요구 사항 문서이기 때문입니다. 30분, 대부분의 후보자가 사망하고 주말이 돌아왔습니다.