如何在三十分钟内评估新的人工智能工具（在它占用一个周末之前）
大多数工具评估都会耗费数周的半配置时间。这个三十分钟的协议、一项实际任务、两次故障探测、一次集成检查，可以快速杀死不良候选者。
评估人工智能工具的问题不在于它很难，而在于它是无限制的。一次试验可以在配置中吃掉一个周末，相比之下一周，以及四分之一的半采用状态。我用固定的协议将我的评估压缩为三十分钟，其残酷性就是特点：大多数工具应该在十分钟内失败，而那些幸存下来的工具值得你花时间。
第一到五分钟：在接触产品之前写下工作描述。一句话描述它必须完成的任务，一句描述它必须如何连接到已经存在的任务，一句描述会让你退出的约束、定价、隐私、输出格式。这是演示无法协商的清单，首先编写它可以防止评估陷入钦佩。你购买的不是令人印象深刻的东西；您正在招聘职位空缺。
六到十五分钟：一个真正的任务，从头到尾。不是入职流程中的示例文件，而是本周您实际办公桌上的实际文件，具有丑陋的输入和真实的输出要求。端到端规则是评估的生死存亡的关键，因为工具在演示方面表现出色，但在边缘方面表现不佳，而边缘、导出格式、缺少的集成、它处理实际体积的方式正是演示设计要跳过的内容。如果该工具无法在此窗口中完成实际任务，那么这只是一个结论，而不是预热。
第十六至二十五分钟：两个故障探测器。首先，丑陋的输入：工具实际收到的材料的最坏情况版本、嘈杂的音频、矛盾的简报、损坏的文件，因为您需要知道它是大声失败还是自信地失败。其次，负载测试：您的真实数量，而不是样本，因为每个请求的成本和速率限制只会在规模上显现出来，而定价在 10 单位的工具在 400 单位的价格可能是荒谬的。准确记下它是如何失败的；一个能告诉你哪里出了问题的工具比一个稍微好一点但耸肩的工具更有价值。
第二十六至三十分钟：决定，包含三个问题。它是否完成了真正的任务？它的故障是否传达了信息？而且，人们会跳过的问题是，转换成本是多少，因为在已建立的堆栈中稍微好一点的工具通常会造成损失。然后写下一行字，聘用、拒绝或带条件重访，并遵守它。随着时间的推移，协议的价值会不断增加，因为书面判决会成为您实际重视的内容的记录，而您自己的员工模式、您始终需要的集成、您永远不会原谅的故障模式，都是您将编写的最有用的产品需求文档。三十分钟，大多数候选人都死了，你的周末又回来了。