新しい AI ツールを 30 分で評価する方法 (週末を食い尽くす前に)
ほとんどのツールの評価は、数週間にわたる半構成にまたがって行われます。この 30 分のプロトコル、1 つの実際のタスク、2 つの障害プローブ、1 つの統合チェックにより、悪い候補者はすぐに排除されます。
AI ツールの評価の問題は、それが難しいことではなく、制限がないことです。トライアルでは、構成で週末を費やし、比較で 1 週間を費やし、半分採用されないままで 4 分の 1 を費やすことができます。私は固定プロトコルを使用して評価を 30 分に圧縮しましたが、その残酷さが特徴です。ほとんどのツールは 10 秒以内に失敗するはずで、生き残ったツールには時間をかける価値があります。
1 ～ 5 分: 製品に触れる前に仕事の説明を書きます。実行する必要があるタスクについての 1 文、既存のものにどのように接続する必要があるかについての 1 文、終了につながる制約、価格設定、プライバシー、出力形式についての 1 文。これはデモでは交渉できないチェックリストであり、最初にこれを書くことで、評価が賞賛に流れるのを防ぎます。あなたは印象的なものを求めて買い物をしているわけではありません。あなたは欠員のために雇用しています。
6 ～ 15 分: 1 つの実際のタスクを、端から端まで行います。オンボーディング フローのサンプル ファイルではなく、今週あなたの実際のデスクから届いた、醜い入力と実際の出力要件を備えた実際のものです。エンドツーエンドのルールは、評価が生きるか死ぬかにかかっています。ツールはデモには優れていますが、エッジでつまずくためです。エッジ、エクスポート形式、不足している統合、実際のボリュームの処理方法は、まさにデモがスキップするように設計されているものです。ツールがこのウィンドウで実際のタスクを完了できない場合、それはウォームアップではなく判定となります。
16 分から 25 分まで: 2 つの障害調査。まず、醜い入力です。ツールが実際に受け取るマテリアルの最悪のバージョン、ノイズの多い音声、矛盾した要約、破損したファイルです。なぜなら、大声で失敗するのか、自信を持って失敗するのかを知る必要があるからです。 2 つ目は負荷テストです。サンプルではなく実際のボリュームです。リクエストごとのコストとレート制限は規模が大きくなって初めて明らかになるため、10 ユニットで良い価格が設定されたツールが 400 ユニットではばかげている可能性があります。どのように失敗するかを正確にメモしてください。何が問題だったかを教えてくれるツールは、肩をすくめるだけのわずかに優れたツールよりも価値があります。
26分から30分：3つの質問を伴う決定。それは実際のタスクを完了しましたか？通信障害は発生しましたか。そして、確立されたスタック内のわずかに優れたツールは通常、損失になるため、スイッチングコストはいくらになるのかという質問は無視されます。それから 1 行書いて、雇用するか、拒否するか、条件付きで再訪問し、それを尊重します。プロトコルの価値は時間の経過とともに増大します。書面による評決は、あなたが実際に何を評価したかの記録となり、あなた自身の採用パターン、常に必要な統合、絶対に許さない失敗モードは、これまでに作成した中で最も役立つ製品要件文書となるからです。 30分、ほとんどの候補者が死亡し、週末が戻ってきました。