मैंने एक महीने तक अपनी मशीन पर एआई मॉडल चलाए: ईमानदार नोट्स
स्थानीय मॉडल वास्तव में अब अच्छे हैं और वास्तव में अलग हैं। दैनिक उपयोग का एक महीना, क्या काम किया और क्या नहीं, इसके ईमानदार बहीखाते के साथ।
एक महीने तक मैंने हर उस कार्य को आगे बढ़ाया जो मेरी अपनी मशीन पर चलने वाले स्थानीय मॉडलों पर किया जा सकता था: मसौदा तैयार करना, सारांशित करना, कोड पूरा करना और बहुत सारे प्रयोग। ईमानदार सारांश: स्थानीय वास्तविक है, स्थानीय अलग है, और क्लाउड मॉडल का अंतर बेंचमार्क के सुझाव से कम है और उत्साही लोगों की स्वीकारोक्ति से अधिक व्यापक है।
वास्तव में क्या काम आया: हमेशा चालू रहने वाली नौकरियाँ। सारांशीकरण, पहले पासों का मसौदा तैयार करना, पुनर्लेखन, और कोड पूरा करना पूरे महीने स्थानीय स्तर पर चला, मेरे उद्देश्यों के लिए कोई अवधारणात्मक गुणवत्ता हानि नहीं हुई, और गोपनीयता राहत काल्पनिक नहीं है; मैंने नोट्स को सारांशित करने से पहले उन्हें संशोधित करना बंद कर दिया, जो एक व्यवहार परिवर्तन है जो केवल तब होता है जब डेटा वास्तव में नहीं जाता है।
जिस बात ने मुझे आश्चर्यचकित किया: विलंबता वह सुविधा है जिसकी कोई कीमत नहीं चुकाता। एक स्थानीय मॉडल आधे सेकंड में उत्तर देकर आपके उपयोग करने के तरीके को उसी तरह बदल देता है जैसे एक तेज़ खोज बॉक्स करता है। मैंने इससे ऐसे फालतू प्रश्न पूछे जिनसे मैं कभी भी क्लाउड मॉडल को परेशान नहीं करूंगा, और फालतू प्रश्न ऐसे निकले जहां बहुत सारे मूल्य रहते थे।
क्या काम नहीं आया: बड़ी तर्कपूर्ण नौकरियाँ। लंबे दस्तावेज़ विश्लेषण, जटिल मल्टी-स्टेप कोड, और कुछ भी जहां गलत होना महंगा है, फिर भी दूसरे सप्ताह तक फ्रंटियर क्लाउड मॉडल में चला गया। स्थानीय मॉडल उन कार्यों में आत्मविश्वास से विफल होते हैं जहां आपको दूसरी राय की सबसे अधिक आवश्यकता होती है, जो एक खतरनाक संयोजन है।
माह का अंत एक विभाजन के साथ हुआ जिसे मैं रखने की उम्मीद करता हूं: उच्च-मात्रा, कम-दांव, गोपनीयता-संवेदनशील परत के लिए स्थानीय; गहरे कार्य परत के लिए बादल। हार्डवेयर की लागत अब वास्तविक और ख़त्म हो चुकी है। इस पर विचार करने वाले किसी भी व्यक्ति के लिए ईमानदार फ्रेमिंग: स्थानीय कोई प्रतिस्थापन नहीं है, यह दूसरा स्तर है, और अंततः यह एक स्तर के लायक होने के लिए काफी अच्छा है।