बेंचमार्किंग एआई छवि मॉडल जितना लोग स्वीकार करते हैं उससे कहीं अधिक टूटा हुआ है
लीडरबोर्ड तय करते हैं कि आप कौन सा मॉडल आज़माएँ। उनमें से अधिकांश गलत चीज़ मापते हैं, और मॉडलों को उन्हें जीतने के लिए प्रशिक्षित किया जाता है।
हर महीने एक नया छवि बेंचमार्क एक विजेता का ताज पहनाता है, और हर महीने विजेता उस बेंचमार्क पर संदेहास्पद रूप से अच्छा होता है। वह कोई संयोग नहीं है; मॉडलों को परीक्षण के अनुरूप तैयार किया जाता है।
जो मेट्रिक्स प्रकाशित होते हैं - निष्ठा स्कोर, वरीयता दरें - शायद ही कभी मुझे जो चाहिए वह मैप करता है: क्या छवि पर पाठ प्रस्तुत होता है, क्या हाथ में पांच उंगलियां हैं, क्या यह मेरे ब्रांड से मेल खाएगा। उन्हें स्कोर करना अजीब लगता है, इसलिए उन्हें नजरअंदाज कर दिया जाता है।
इससे भी बुरी बात यह है कि मानवीय प्राथमिकता वाले पैनल 'काम करता है' के बजाय 'प्रभावशाली दिखने' की ओर बढ़ते हैं। एक आकर्षक रेंडर एक वोट में सही रेंडर को हरा देता है, और लीडरबोर्ड वोट का अनुसरण करता है।
अब मैं बोर्ड को पढ़ने के बजाय अपनी स्वयं की तीन-कार्य चेकलिस्ट पर छवि मॉडल का परीक्षण करता हूं। यह धीमा है, लेकिन यह मुझे बताता है कि मैं वास्तव में क्या भेजूंगा।