मॉडल सस्ते हो गए, लेकिन मेरा बिल नहीं (फिर से)
हर तिमाही में प्रति टोकन मूल्य गिरता है और मेरा चालान स्थिर रहता है। रिसाव उपयोग का है, दर का नहीं।
GPT-6.1 सोल और जेमिनी 4 आर्गन दोनों $2 प्रति मिलियन इनपुट पर उतरे, जो पिछले साल के फ्लैगशिप से सस्ता है। बड़ी खुशखबरी, मैंने खुद से कहा, मेरा बिल कम हो जाएगा। ऐसा नहीं हुआ. ऐसा कभी नहीं होता, क्योंकि अधिक चीज़ों के अधिक टोकन करने से प्रति-टोकन बचत ख़त्म हो जाती है।
रिसाव संरचनात्मक है. जब कोई कॉल सस्ती होती है, तो आप सावधान रहना बंद कर देते हैं: आप पुन: सारांशित करते हैं, पुन: प्रयास करते हैं, पूरी बातचीत को लॉग करते हैं, पहले की जांच करने के लिए दूसरा मॉडल चलाते हैं। प्रत्येक अकेले एक पूर्णांकन त्रुटि है और एक साथ एक मोटा चालान है। सस्ते मॉडलों ने मुझे मितव्ययी नहीं बनाया; उन्होंने मुझे बड़े पैमाने पर बेकार बना दिया।
वास्तव में एक बार मेरे बिल में जो कटौती हुई वह उपयोग ऑडिट थी, न कि प्रदाता स्विच। मुझे एक नियमित कार्य बर्निंग फ्रंटियर कॉल मिला जिसे एक छोटे मॉडल ने ठीक से संभाला, और एक पुनः प्रयास लूप जो प्रत्येक त्रुटि पर तीन बार सक्रिय हुआ। उन दोनों को ठीक करने से किसी भी कीमत में कटौती से अधिक चालान कम हो गया।
सबक: प्रति-टोकन मूल्य एक विकर्षण है। टोकन अनुशासन वास्तविक लागत लीवर है, और इसमें तभी सुधार होता है जब आप मापते हैं कि वे कहाँ जाते हैं। सस्ते मॉडल कचरे को बेहतर तरीके से छिपाते हैं।