Người mẫu ngày càng rẻ hơn nhưng hóa đơn của tôi thì không (Một lần nữa)
Mỗi quý giá mỗi mã thông báo giảm xuống và hóa đơn của tôi không thay đổi. Rò rỉ là cách sử dụng, không phải tỷ lệ.
GPT-6.1 Sol và Gemini 4 Argon đều đạt mức đầu vào 2 USD trên một triệu, rẻ hơn so với các sản phẩm hàng đầu của năm ngoái. Tin tuyệt vời, tôi tự nhủ, hóa đơn của tôi sẽ giảm. Nó không. Điều đó không bao giờ xảy ra, bởi vì khoản tiết kiệm trên mỗi mã thông báo sẽ bị tiêu hao khi làm nhiều mã thông báo hơn cho nhiều thứ hơn.
Sự rò rỉ là cấu trúc. Khi một cuộc gọi rẻ, bạn không còn cẩn thận nữa: bạn tóm tắt lại, thử lại, ghi lại toàn bộ cuộc trò chuyện, chạy mô hình thứ hai để kiểm tra mô hình đầu tiên. Mỗi cái đều là một lỗi làm tròn riêng và một hóa đơn béo bở cùng nhau. Những mẫu rẻ hơn không khiến tôi tiết kiệm; họ làm cho tôi lãng phí ở quy mô lớn.
Điều thực sự đã cắt giảm hóa đơn của tôi một lần là kiểm tra việc sử dụng chứ không phải chuyển đổi nhà cung cấp. Tôi tìm thấy một tác vụ thông thường ghi các lệnh gọi biên giới mà một mô hình nhỏ xử lý tốt và một vòng lặp thử lại kích hoạt ba lần cho mỗi lỗi. Sửa hai cái đó làm mất hóa đơn nhiều hơn bất kỳ đợt giảm giá nào.
Bài học: giá mỗi token là một sự xao lãng. Kỷ luật mã thông báo là đòn bẩy chi phí thực và nó chỉ cải thiện khi bạn đo lường xem chúng sẽ đi đến đâu. Các mô hình rẻ hơn chỉ che giấu chất thải tốt hơn.