बड़े संदर्भ विंडोज़ एआई उत्तरों को बेहतर नहीं बना रहे हैं
हम संदर्भ के पन्नों से पुस्तकालयों तक गए, और उत्तरों में आनुपातिक रूप से सुधार नहीं हुआ। ध्यान अभी भी दुर्लभ संसाधन है, और त्वरित शिल्प इसका अर्थशास्त्र है।
संदर्भ विंडो सौ गुना बढ़ गई जबकि मेरे उत्तरों में शायद दो गुना सुधार हुआ, और उन संख्याओं के बीच का अंतर वह जगह है जहां अब सबसे खराब एआई अनुभव रहते हैं। विपणन का तात्पर्य है कि अधिक संदर्भ अधिक समझ के बराबर है, लेकिन मॉडल आपकी आशा के अनुरूप दस लाख टोकन नहीं पढ़ते हैं; वे असमान रूप से ध्यान आवंटित करते हैं, और ध्यान वास्तविक दुर्लभ संसाधन है।
मेरे अपने प्रयोग इसकी पुष्टि करते रहते हैं। एक मॉडल को दस्तावेज़ के चालीस पृष्ठ दिए जाते हैं और एक प्रश्न आमतौर पर बेहतर उत्तर देता है जब तीन प्रासंगिक पृष्ठ दिए जाते हैं, क्योंकि पुनर्प्राप्ति और एक छोटी खिड़की क्रूर-बल समावेशन को मात देती है। लंबा संदर्भ कोई स्मृति नहीं है, यह उसी टॉर्च के साथ एक बड़ा कमरा है, और जो बात मायने रखती है वह यह है कि टॉर्च कहाँ इंगित करती है।
यही कारण है कि व्यावहारिक कौशल त्वरित इंजीनियरिंग से संदर्भ क्यूरेशन में स्थानांतरित हो गया है। अब मुझे जो सबसे अच्छा परिणाम मिलता है वह यह तय करने से आता है कि मॉडल को क्या देखने की ज़रूरत नहीं है: बॉयलरप्लेट को हटा दें, स्पर्शरेखाओं को काट दें, शुरुआत में महत्वपूर्ण बाधा डालें और अंत में इसे दोहराएं। क्यूरेशन एक अस्वाभाविक काम है जिसके बारे में बड़ी-खिड़की मार्केटिंग का कहना है कि इसे अप्रचलित होना चाहिए, और यह हठपूर्वक नहीं है।
वास्तविक अपवाद, संपूर्ण-कोडबेस समझ, घंटों-लंबे ट्रांसक्रिप्ट और जहां आवश्यक हो वहां क्रेडिट हैं। लेकिन वहां भी, जो उपकरण जीतते हैं वे कच्चे समावेशन के बजाय पुनर्प्राप्ति और सारांश के साथ आपका ध्यान आकर्षित करने वाले होते हैं।
टेकअवे ख़राब और उपयोगी है: एक बड़ी खिड़की आपको यह सोचने से मुक्त नहीं करती है कि इसमें क्या होता है। मॉडलों को एक बड़ा डेस्क मिला; काम अभी भी उस व्यक्ति द्वारा किया जाता है जो यह तय करता है कि उस पर क्या पहनना है, और वह व्यक्ति, फिलहाल, आप ही हैं।