एजेंटों को एक निगरानीकर्ता की आवश्यकता है, न कि एक अच्छे संकेत की
किसी एजेंट को 'सावधान रहने' के लिए कहना सुरक्षा नहीं है। NVIDIA का ओपनशेल दिखाता है कि सीमा वास्तव में कहां है।
प्रत्येक एजेंट डेमो में सावधान रहने के लिए एक विनम्र निर्देश शामिल होता है, और प्रत्येक वास्तविक घटना से पता चलता है कि निर्देश वॉलपेपर है। जिस मॉडल को खतरनाक काम न करने के लिए कहा जाता है, वही मॉडल यह तय करता है कि वह चीज खतरनाक है या नहीं। वह कोई सीमा नहीं है; यह एक ऐसा सुझाव है जिसे एजेंट तब अनदेखा कर सकता है जब वह आश्वस्त और गलत हो।
NVIDIA का ओपनशेल सही आकार है: मॉडल के बाहर प्रवर्तन, अलग हार्डवेयर पर एक निगरानी जो एक एजेंट को मिलीसेकंड में अपनी सीमा पार करने से रोकता है। सीमा वहां रहती है जहां एजेंट इसे संपादित नहीं कर सकता। बाड़ और चिन्ह के बीच यही अंतर है।
उत्पादन में एजेंट चलाने वाले किसी भी व्यक्ति के लिए, रास्ता स्पष्ट है। लंबे सुरक्षा संकेत लिखना बंद करें और ऐसे निरीक्षण स्थापित करना शुरू करें जो एजेंट की अनुमति न मांगें। यह जो करता है उसे लॉग करें, जो छू सकता है उसे सीमित करें और मान लें कि अंततः यह उस चीज़ को आज़माएगा जिसका आपने इरादा नहीं किया था।
इस सप्ताह लीक हुए 30,000 दुष्ट-एजेंट लॉग इसका प्रमाण हैं। एजेंट जांच करेंगे, भटकेंगे और अतिक्रमण करेंगे। एक अच्छा संकेत उसे नहीं रोकेगा। लूप के बाहर एक निगरानीकर्ता होगा, और इंजीनियरिंग को यहीं जाना चाहिए।