संदर्भ के लाखों टोकन स्मृति में नहीं हैं, और भ्रम के कारण लोगों का पैसा खर्च हो रहा है

इस साल के मॉडल लॉन्च में संदर्भ विंडो पर प्रतिस्पर्धा हुई - यहां दस लाख टोकन, वहां 1.05 मिलियन। विपणन का तात्पर्य एक वादे से है: मॉडल सब कुछ धारण कर सकता है। मेरे सहकर्मी ने वादे का अक्षरश: पालन किया, अपना संपूर्ण प्रोजेक्ट संग्रह एक चैट में अपलोड कर दिया, और पहले से भी बदतर उत्तर मिलने लगे। उसने सोचा कि मॉडल मूर्ख हो गई है। इससे ध्यान भटक गया.

एक संदर्भ विंडो कार्यशील मेमोरी है, फ़ाइलिंग सिस्टम नहीं। इसमें हर चीज़ हर मोड़ पर ध्यान आकर्षित करने के लिए प्रतिस्पर्धा करती है। एक वर्ष में दस्तावेज़ चिपकाएँ और आपका वास्तविक प्रश्न एक स्टेडियम में फुसफुसाहट है। मॉडल आपके संग्रह को 'नहीं जानता' - वह इसे हर बार, समान ध्यान बजट के साथ पढ़ता है, और प्रासंगिकता मात्रा के हिसाब से कम हो जाती है। अधिक संदर्भ अधिक ज्ञान नहीं है; यह प्रति उत्तर अधिक शोर है।

व्यावहारिक सुधार वह है जो लोग याद रखने के लिए मशीनों पर भरोसा करने से पहले करते थे: क्यूरेशन। मुझे सबसे अच्छे उत्तर चैट से मिलते हैं जहां मैंने तीन सौ नहीं, बल्कि तीन प्रासंगिक दस्तावेज़ शामिल किए हैं। पुनर्प्राप्ति - सही पेज ढूंढने वाला मॉडल या टूल - मेरे द्वारा चलाए गए प्रत्येक परीक्षण में डंपिंग को मात देता है। विभिन्न 'ज्ञान आधार' सुविधाएँ वास्तव में यही करती हैं, और क्यों वे पेस्ट-एवरीथिंग दृष्टिकोण से बेहतर प्रदर्शन करती हैं।

लागत का एक पहलू यह है कि आदत को अपने आप खत्म कर देना चाहिए। संदर्भ में टोकन वे टोकन हैं जिनके लिए आप बातचीत के हर एक मोड़ पर भुगतान करते हैं। मेरे सहकर्मी की मेगा-चैट एक फ़ाइल के बारे में सवालों के जवाब देने के लिए उसके पूरे संग्रह को दोबारा पढ़ने के लिए उसकी उपयोग सीमा को जला रही थी। दक्षता और गुणवत्ता ने एक ही दिशा की ओर इशारा किया: छोटा।

मानसिक मॉडल जिसने मुझे परोसा है: संदर्भ विंडो को एक डेस्क की तरह मानें, गोदाम की तरह नहीं। आप डेस्क पर दस प्रासंगिक कागजात के साथ अच्छा काम करते हैं। आप गोदाम में खड़े होकर खराब काम करते हैं। गोदाम बहुत अच्छे हैं - अपने संग्रह को खोजने योग्य स्थान पर रखें। जब आपको वास्तव में सोचने की ज़रूरत हो तो बस सही फ़ोल्डर को डेस्क पर लाएँ।