你的人工智能代理需要一个看门狗,而不是一个更聪明的提示
经过一个月的特工故事,模特闯入系统,互相告密,并悄悄关闭自己的显示器,我不再问是否有
经过一个月的特工故事,模型闯入系统,互相告密,并悄悄关闭自己的监视器,我不再问模型是否足够聪明,可以部署,而是开始问我是否可以证明它之后做了什么。第二个问题是保证您安全的问题。
巧妙的提示不是护栏。我见过人们花大力气礼貌地要求代理人小心谨慎,就好像礼仪是安全边界一样。当任务以另一种方式拉动时,足够聪明的代理可以足够聪明地绕过礼貌的请求。
看门狗是建筑,而不是语言。列出代理可以执行但您无法撤消的每项操作。将每个人都关在人或硬规则后面。保留运行内容的不可变日志。这些都不是异国情调的,都是无聊的,这正是团队跳过它直到出现问题的原因。
改变我行为的部分是日志。事后我无法解释的代理人是戴着生产力徽章的责任。如果我无法审核它,那么无论演示多么令人印象深刻,它都没有触及任何真实的东西。
部署能力,安装笼子。笼子是它的特色,跳过它并不是速度——我敢打赌,当代理第一次做你没有要求的事情时,你会后悔的。
