एक ख़राब सप्ताह के बाद मैंने एआई बेंचमार्क पर भरोसा करना बंद कर दिया

थोड़ी देर के लिए मैंने लीडरबोर्ड द्वारा मॉडल चुने, और फिर तीन चार्ट में शीर्ष पर रहने वाले एक मॉडल ने मुझे कर नियम के बारे में आत्मविश्वास से गलत पैराग्राफ लिखा। बेंचमार्क ने कहा कि यह स्मार्ट था। पैराग्राफ में कहा गया कि उसे पता नहीं कि वह किस बारे में बात कर रहा था।

बेंचमार्क काम के एक संकीर्ण, साफ हिस्से को मापते हैं। वास्तविक कार्य अव्यवस्थित, कम निर्दिष्ट और उस संदर्भ से भरे हुए हैं जिन्हें परीक्षण में शामिल नहीं किया गया है। एक मॉडल जो तार्किक बेंचमार्क में सफल होता है, वह अभी भी आपके विशिष्ट प्रश्न पर एक उद्धरण का आविष्कार कर सकता है।

अब मुझे जिस पर भरोसा है वह वह संख्या है जो मेरे स्वयं के उपयोग से आती है: इस पर अपना नाम डालने से पहले मुझे कितनी बार इसके आउटपुट को दोबारा जांचना पड़ता है। यह एक बेंचमार्क है जिसे आप काम करके बनाते हैं, न कि किसी द्वारा प्रकाशित चार्ट को पढ़कर।

प्रयोगशालाएँ यह जानती हैं। यही कारण है कि वे समायोज्य सोच प्रयास और रूटिंग मॉडल भेजते हैं: वे स्वीकार कर रहे हैं कि औसत स्कोर उस हिस्से को छुपाता है जो मायने रखता है, जो यह है कि क्या यह आपके काम के लिए सही है।

रुझान के लिए बेंचमार्क पढ़ें, निर्णय नहीं। फिर जो चीज़ आप वास्तव में करते हैं उस पर अपना स्वयं का तीस-उदाहरण परीक्षण चलाएँ, और उसे वह संख्या होने दें जो आपको याद है।