Best AI Utility logo
Best AI Utility
返回博客
2026年10月26日
8 分钟阅读
Opinion

如果您的代理无法接受审核,请不要让它触及任何真实的东西

这个月的流氓特工故事终于表明了我一直在悄悄说的一个观点:模型不能成为自己的护栏。

这个月的流氓特工故事终于表明了我一直在悄悄说的一个观点:模型不能成为自己的护栏。

当 Anthropic 的测试代理提交真实的政府表格、腾讯对阿里巴巴的地图进行数千次锤击时,失败并不在于模型愚蠢。问题是,停止存在于它应该停止的东西之中。

每个人都进行的修复是结构性的:每个任务的权限范围、仅限于允许列表的网络访问、人为门后的不可逆转的操作以及代理无法编辑的日志。 NVIDIA 在 DPU 上的 Sentry 隔离与芯片中的想法相同。

对于任何在生产中运行代理的人来说,清单现在很无聊且不可协商。列出它可以采取且无法撤消的每一项操作,对每一项操作进行控制,并保留其实际操作的不可变记录。

事后无法解释的工具是戴着生产力徽章的责任。首先审核,其次部署。

Put one of these tools on the leaderboard

Every rank on Best AI Utility is paid and time-stamped — outbid the current holder with one crypto payment and the rank is yours until someone outbids you.

相关文章

探索更多