पर्प्लेक्सिटी के $0.04 निर्णायक ने चुपचाप 'सस्ते' का मतलब बदल दिया
एक 27बी मॉडल जो एक प्रतिशत के अंश के लिए निर्णय लेता है 'क्या मुझे एलएलएम बुलाना चाहिए' को एक ऐसे प्रश्न में बदल देता है जिसे आप हजारों बार पूछ सकते हैं।
निःशुल्क आउटपुट के साथ $0.04 प्रति मिलियन इनपुट टोकन पर पर्प्लेक्सिटी ओपन-सोर्स्ड pplx-decider-v1-27b। वह कीमत कोई छूट नहीं है, यह एक श्रेणी है। हाँ-या-नहीं रूटिंग निर्णय के लिए, फ्रंटियर मॉडल को $2 पर कॉल करना अतिश्योक्ति है; इसे कॉल करना एक पूर्णांक त्रुटि है, इसलिए आप निर्णय को तर्कसंगत बनाना बंद कर देते हैं।
वास्तव में मुझे जो उपयोग मिला: एक छोटा मॉडल जो यह तय करता है कि किस बड़े मॉडल को अनुरोध संभालना चाहिए। आसान चीज़ों को सस्ते मॉडल की ओर ले जाएँ, कठिन चीज़ों को सीमांत मॉडल की ओर, और आपकी औसत लागत आपके उपयोगकर्ताओं को पता चले बिना ही गिर जाती है। निर्णायक स्वयं भुगतान करता है क्योंकि वह प्रत्येक कॉल के सामने बैठता है।
क्लाउडफ़ेयर का क्लीफ़ और क्लीफ़-फ़्लैश भी मुफ़्त आउटपुट के साथ खुला और सस्ता है, उसी तरह इंगित करता है। 2026 की दिलचस्प परत सबसे बड़ा मॉडल नहीं है, यह सबसे छोटा मॉडल है जो यह कहने के लिए पर्याप्त है कि 'इसे कहीं और भेजें।' निर्णय मॉडल इन्फ्रा हैं, सुविधाएँ नहीं।
यदि आप लूप में एलएलएम के साथ कुछ भी बना रहे हैं, तो $0.04 डिकोडर सबसे सस्ता अनुकूलन है जिसे आपने कभी नहीं आज़माया है। यह 'क्या मुझे वास्तव में इसके लिए बड़े मॉडल की आवश्यकता है' को एक डिज़ाइन मीटिंग से कोड की एक पंक्ति में बदल देता है।