बेंचमार्क औद्योगिक परिसर आपसे झूठ बोल रहा है
प्रत्येक मॉडल "इस बेंचमार्क पर GPT को मात देता है।" उनमें से लगभग किसी भी संख्या का वह अर्थ नहीं है जो ट्वीट का तात्पर्य है।
बेंचमार्क एक परीक्षण है जिसे किसी ने लिखा है। जिस क्षण किसी मॉडल को इसमें महारत हासिल करने के लिए प्रशिक्षित किया जाता है, परीक्षण अब वह नहीं माप रहा है जो आप सोचते हैं कि वह मापता है। ये कोई साजिश नहीं है. माप इसी प्रकार काम करता है।
मैंने उन घोषणाओं की गिनती खो दी है जहां एक मॉडल टास्क
ईमानदार बेंचमार्क उबाऊ होते हैं: क्या यह ज्यादातर समय, मेरे वास्तविक डेटा पर, मेरे वास्तविक समर्थन टिकटों का सही उत्तर देता है। कोई भी इसे ट्वीट नहीं करता क्योंकि यह कोई ऐसी संख्या नहीं है जिसे आप लीडरबोर्ड पर रख सकें।
जब आप किसी टूल का मूल्यांकन करते हैं, तो लीडरबोर्ड को अनदेखा करें। इसे उन दस वास्तविक चीज़ों पर चलाएँ जो आप करते हैं। स्कोरबोर्ड धन उगाहने के लिए है। आपका इनबॉक्स सच्चाई के लिए है.
इसका कोई मतलब नहीं है कि मॉडल खराब हैं। वे अच्छे हैं। वे उतने अच्छे नहीं हैं जितने उनकी अपनी प्रेस विज्ञप्तियाँ हैं, और उतने बुरे भी नहीं हैं जितना उनके आलोचक दावा करते हैं।
28 अक्टूबर, 2026 को अपडेट किया गया: नीचे दी गई मूल्यांकन सलाह इस टुकड़े का वह हिस्सा है जो अच्छी तरह से पुराना है - यह तब से हर मॉडल पीढ़ी में कायम है।
अक्सर पूछे जाने वाले प्रश्नों:
प्रश्न: एआई बेंचमार्क स्कोर गुमराह क्यों करते हैं?
उत्तर: बेंचमार्क एक परीक्षण है जिसे किसी ने लिखा है। एक बार जब किसी मॉडल को इसमें महारत हासिल करने के लिए प्रशिक्षित किया जाता है, तो परीक्षण वह नहीं मापता जो आप सोचते हैं कि वह मापता है। माप इसी तरह काम करता है, साजिश नहीं।
प्रश्न: इसके बजाय मुझे एआई मॉडल का मूल्यांकन कैसे करना चाहिए?
उत्तर: इसे उन दस वास्तविक चीज़ों पर चलाएँ जो आप वास्तव में करते हैं - आपके समर्थन टिकट, आपके दस्तावेज़, आपका डेटा। स्कोरबोर्ड धन उगाहने के लिए है। आपका इनबॉक्स सच्चाई के लिए है.
प्रश्न: क्या इसका मतलब यह है कि मॉडल खराब हैं?
उत्तर: नहीं. वे अच्छे हैं. वे उतने अच्छे नहीं हैं जितने उनकी अपनी प्रेस विज्ञप्तियाँ हैं, और उतने बुरे भी नहीं हैं जितना उनके आलोचक दावा करते हैं।