बेंचमार्क आपके वर्कफ़्लो का अनुमान नहीं लगाएंगे (इसलिए स्कोरबोर्ड के आधार पर टूल चुनना बंद करें)
लीडरबोर्ड कहता है कि एक मॉडल सर्वोत्तम है। आपके वास्तविक कार्य असहमत हैं। आपके टूल निर्णयों में बेंचमार्क डेल्टा सबसे कम प्रासंगिक संख्या क्यों है, और इसके बजाय क्या मापना है।
हर कुछ हफ्तों में एक नया मॉडल बेंचमार्क में शीर्ष पर होता है, लॉन्च थ्रेड घोषणा करता है कि सब कुछ बदल गया है, और हजारों लोग स्कोरबोर्ड का पीछा करने के लिए रातों-रात उपकरण बदल देते हैं। मैंने स्वयं एक वर्ष तक ऐसा किया, फिर कुछ शर्मनाक बात देखी: मेरे काम के परिणामों का मेरे द्वारा उपयोग किए गए टूल की लीडरबोर्ड स्थिति से कोई संबंध नहीं था। बेंचमार्क प्रदर्शन और वर्कफ़्लो प्रदर्शन के बीच का अंतर कोई पूर्णांक त्रुटि नहीं है। यह संरचनात्मक है, और यह समझता है कि आपको उपकरण कैसे चुनना चाहिए, यह क्यों बदलता है।
पहला संरचनात्मक कारण: बेंचमार्क परीक्षण कार्य, आपके पास वर्कफ़्लो हैं। एक बेंचमार्क प्रश्न स्वयं-निहित होता है, एक सत्यापन योग्य उत्तर के साथ, बिना किसी संदर्भ के एक नए मॉडल द्वारा निष्पादित किया जाता है। आपका काम मध्य-प्रोजेक्ट में आता है, आपके इतिहास, आपकी परंपराओं, आपकी बाधाओं में लिपटा हुआ है, और आपके आउटपुट को इस महीने आपके द्वारा किए गए सभी चीज़ों के साथ एकीकृत होना चाहिए। सिंगल-टर्न जीनियस जो कल के फैसले को याद नहीं रख सकता, वह आपके लिए उस थोड़े-कम-शानदार मॉडल की तुलना में कम उपयोगी है जो आपकी पाइपलाइन में फिट बैठता है, और बेंचमार्क पाइपलाइन नहीं देख सकते हैं।
दूसरा: बेंचमार्क औसत है, आपका काम औसत नहीं है। स्कोरबोर्ड हजारों कार्यों का एक माध्य है, और आपका वास्तविक कार्यभार शायद छह कार्य प्रकारों का विषम वितरण है। औसतन तीन अंक कम वाला मॉडल आपके विशिष्ट मिश्रण पर नाटकीय रूप से बेहतर हो सकता है, और कुल संख्या यहां केवल जानकारीहीन नहीं है, यह भ्रामक है, क्योंकि यह उन कार्यों की कीमत तय करता है जो आप कभी नहीं करते हैं और जो आप पूरे दिन करते हैं उन्हें छूट देता है। मैंने एक निचली रैंक वाली मॉडल को एक तिमाही तक मेरे ट्रांसक्रिप्शन-आसन्न कार्यों पर लगातार चैंपियन को हराते देखा, जबकि उद्योग ने चैंपियन के नए स्कोर का जश्न मनाया।
तीसरा: संख्याएँ क्षमता को मापती हैं, आप विश्वसनीयता का अनुभव करते हैं। एक मॉडल जो नब्बे प्रतिशत समय में शानदार है और बाकी मामलों में आत्मविश्वास से गलत है, वह नब्बे प्रतिशत समय में अच्छे मॉडल को मात दे सकता है और अपनी अनिश्चितता को चिह्नित कर सकता है, लेकिन पेशेवर काम के लिए दूसरा अधिक मूल्यवान है, क्योंकि आपकी समीक्षा लागत शुद्धता में रैखिक नहीं है, इसमें विफलताओं का बोलबाला है जो सफलताओं की तरह दिखती हैं। बेंचमार्क शायद ही कभी विफलता वितरण का मूल्य निर्धारण करते हैं, और विफलता वितरण आपकी वास्तविक लागत है।
जिस प्रतिस्थापन पर मैं उतरा वह शर्मनाक रूप से कम तकनीक वाला है: एक व्यक्तिगत बेंचमार्क, जो मेरे काम के आखिरी महीने से बनाया गया है। दस से पंद्रह वास्तविक कार्य, उनके इनपुट से बचाए गए और उन्हें जो मानक पूरा करना था, किसी भी उम्मीदवार उपकरण के खिलाफ फिर से चलाया गया, परिणाम और समीक्षा लागत पर स्कोर किया गया, न कि प्रभावशालीता पर। इसे बनाने में एक दोपहर का समय लगता है और इसने प्रत्येक उपकरण चयन के साथ मेरी संतुष्टि की सही भविष्यवाणी की है, जिस तरह से किसी लीडरबोर्ड ने कभी नहीं किया। सीमा पर नज़र रखने और उन मॉडलों के बीच चयन करने के लिए जिनके बारे में आप कुछ नहीं जानते हैं, सार्वजनिक मानक अभी भी मायने रखते हैं। लेकिन उन उपकरणों के लिए जो आपके दैनिक कार्य को छूते हैं, एकमात्र स्कोरबोर्ड जो किसी भी चीज़ की भविष्यवाणी करता है वह आपका अपना है, और आप ही इसे बना सकते हैं।