प्रॉम्प्ट इंजेक्शन कोई काल्पनिक बात नहीं है: एआई एजेंटों के लिए रेलिंग जिनके पास उपकरण हैं
ईमेल, शेल या भुगतान पहुंच वाले एजेंट से किसी दस्तावेज़ के अंदर पाठ द्वारा गलत काम करने के लिए बात की जा सकती है। यहाँ वह सेटअप है जिसका मैं वास्तव में उपयोग करता हूँ।
डेमो हर कोई जानता है: एक एजेंट एक वेब पेज पढ़ता है जिसमें छिपे हुए निर्देश होते हैं, और एजेंट आपके बजाय उनका अनुसरण करना शुरू कर देता है। यह एक सुरक्षा सम्मेलन वार्ता की तरह लगता है, लेकिन अभ्यास में मैंने जो संस्करण देखा वह बहुत नीरस था - सफेद पाठ की एक पंक्ति के साथ एक साझा दस्तावेज़, और एक एजेंट जिसने कर्तव्यपूर्वक सामग्री को ऐसे पते पर अग्रेषित किया, जिस पर उसे कभी संपर्क नहीं करना चाहिए था।
असुविधाजनक बात यह है कि कोई भी सावधानीपूर्वक संकेत इसे ठीक नहीं करता है। यदि आपका एजेंट किसी अन्य व्यक्ति द्वारा लिखा गया पाठ पढ़ता है, तो वह पाठ इनपुट है, और कोई मॉडल विश्वसनीय रूप से डेटा से निर्देश नहीं बता सकता है। मॉडल को दस्तावेज़ों के अंदर निर्देशों को अनदेखा करने के लिए कहना एक समाधान जैसा लगता है; यह एक सुझाव है, और सुझाव उन संकेतों से वंचित रह जाते हैं जो वास्तविक कार्य की तरह दिखते हैं।
इसलिए रेलिंग को मॉडल के बाहर रहना होगा। तीन चीजें जिन पर मैं अब जोर देता हूं: एजेंट को सबसे कम संभव उपकरण पहुंच मिलती है, प्रत्येक परिणामी कार्रवाई के लिए एक कदम की आवश्यकता होती है जिसे मानव बाधित कर सकता है, और एक लॉग है जो रिकॉर्ड करता है कि एजेंट ने सरल भाषा में क्या किया जिसे मैं बाद में पढ़ सकता हूं। अनुमति सेट वास्तविक सुरक्षा सीमा है; संकेत एजेंट के लिए एक सुझाव है, हमलावर के लिए नहीं।
सीधे तौर पर: एक उपकरण जो ईमेल भेज सकता है वह केवल खाते पर पहले से मौजूद पते पर ही भेजने में सक्षम होना चाहिए, और केवल तभी जब कोई मानव प्राप्तकर्ता सूची की पुष्टि करता है। एक उपकरण जो शेल कमांड चला सकता है, उसे बिना किसी क्रेडेंशियल के सैंडबॉक्स में चलना चाहिए, क्योंकि जिस क्षण आपके एजेंट के पास आपकी उत्पादन कुंजी होती है, हमलावर के पास भी होती है। रीड-ओनली सबसे अच्छा डिफ़ॉल्ट है, और अनुदान के बजाय लेखन पहुंच वह चीज है जो आप कमाते हैं।
बाकी आधा हिस्सा डेटा को डेटा मान रहा है। एजेंट आपके संगठन के बाहर से जो कुछ भी पढ़ता है - वेब पेज, इनकमिंग ईमेल, साझा दस्तावेज़, यहां तक कि ग्राहकों से पीडीएफ भी - उसे अविश्वसनीय इनपुट के रूप में माना जाता है, उसी तरह जैसे आप अनुबंध को आगे बढ़ाने के लिए कहने वाले किसी अजनबी के ईमेल के साथ व्यवहार करेंगे। एजेंट को इसे संक्षेप में प्रस्तुत करना चाहिए, इसे उद्धृत करना चाहिए और इसे आप तक पहुंचाना चाहिए - कभी भी इसका पालन न करें।
इनमें से कोई भी एजेंटों को संक्षेप में सुरक्षित नहीं बनाता है। यह उन्हें ऐसे कार्य को करने के लिए पर्याप्त सुरक्षित बनाता है जहां सबसे खराब परिणाम वायर ट्रांसफ़र के बजाय व्यर्थ की गई दौड़ है। मैं अब प्रत्येक स्वचालन को उस वाक्य से शुरू करता हूं, क्योंकि यदि सबसे खराब स्थिति अस्वीकार्य है, तो टूल का चुनाव वह समस्या नहीं है जिसे आपको हल करना चाहिए।
अक्सर पूछे जाने वाले प्रश्नों:
प्रश्न: क्या प्रॉम्प्ट इंजेक्शन को बेहतर प्रॉम्प्ट से ठीक किया जा सकता है?
उत्तर: नहीं, इसे कम किया जा सकता है, लेकिन समाप्त नहीं किया जा सकता, क्योंकि मॉडल उस सामग्री से निर्देशों को विश्वसनीय रूप से अलग नहीं कर सकता जिसे उसे पढ़ने के लिए कहा गया था। विश्वसनीय समाधान एजेंट जो कर सकता है उसे सीमित करना है, न कि उसे सावधान रहने के लिए कहना।
प्रश्न: सबसे पहले जोड़ने योग्य सबसे महत्वपूर्ण रेलिंग कौन सी है?
उ: कार्य के बाहर किसी भी चीज़ तक लेखन पहुंच हटा दें। अधिकांश एजेंट घटनाएं उस समय हानिरहित हो जाती हैं जब एजेंट मानव पुष्टि के बिना भेज नहीं सकता, हटा नहीं सकता या खर्च नहीं कर सकता। रीड-ओनली एजेंट डिफ़ॉल्ट रूप से सुरक्षित नहीं रहते।
प्रश्न: यदि मैं केवल अपनी फ़ाइलों पर एजेंटों का उपयोग करता हूं तो क्या मुझे इसकी आवश्यकता है?
उ: जोखिम किसी भी चीज़ में है जिसे एजेंट पढ़ता है, न कि केवल जो वह लिखता है। किसी सहकर्मी या ग्राहक के दस्तावेज़ में समान निर्देश हो सकते हैं, और आपका एजेंट उनके साथ उसी तरह व्यवहार करता है जैसे वह आपके नोट्स के साथ करता है।