Cuộc chiến giá $2/$10 đã âm thầm thay đổi mô hình mà tôi hướng tới

Một điều kỳ lạ đã xảy ra vào đầu tháng 10 mà hầu hết mọi người đều lướt qua: ba trong số các phòng thí nghiệm AI lớn nhất đã có mức giá gần như nhau. GPT-6.1 Sol của OpenAI, Claude Sonnet 5.5 của Anthropic và Gemini 4 Argon của Google đều giải quyết khoảng 2 đô la cho mỗi triệu mã thông báo đầu vào và 10 đô la cho mỗi đầu ra, trong vòng khoảng chín ngày với nhau. Haiku 5.5 rẻ hơn khoảng 90% so với mẫu mà nó thay thế và GPT-6 Sol giảm gần một nửa. Cuộc chiến về giá là có thật và nó thay đổi cách tôi làm việc.

Trong phần lớn thời gian của năm nay, tôi coi mẫu cao cấp là mặc định vì khoảng cách đó cảm thấy đáng giá. Khoảng cách chỉ thu hẹp xuống gần như không có gì về giá trong khi khoảng cách về chất lượng vẫn được giữ nguyên. Vì vậy, thói quen luôn hướng tới lựa chọn đắt tiền nhất của tôi không còn hợp lý nữa, ngoại trừ những nhiệm vụ cụ thể mà mô hình rõ ràng là tốt hơn.

Những con số đằng sau nó là cụ thể. Gemini 4 Argon báo cáo tỷ lệ ảo giác là 15% trên một điểm chuẩn so với 51% của GPT-6 Astra, đó là lý do tại sao tôi chỉ ra nó ở công việc sâu, nặng về tài liệu. Dòng 5.5 của Claude đăng điểm mã hóa tác nhân được công bố mạnh nhất, đó là lý do tại sao mã của tôi lại xuất hiện ở đó. Cuốn Haiku rẻ tiền xử lý việc gắn thẻ và tóm tắt mà tôi từng lãng phí một chiếc hạm.

Điều tôi đã ngừng làm là trả mức giá cao nhất cho công việc cơ khí. Một lộ trình gửi 80% nhàm chán đến một mô hình nhỏ nhanh và dành riêng mô hình nặng cho các yêu cầu phán xét sẽ đọc nội dung tương tự cho người dùng cuối và chi phí một phần nhỏ. Những người điều phối các phòng thí nghiệm đều là điểm vận chuyển theo cùng một cách.

Bài học không phải là rẻ nhất là tốt nhất. Đó là sự chênh lệch giá được sử dụng để biện minh cho việc vỡ nợ, còn bây giờ thì không. Hãy chọn hình mẫu cho công việc, vì hóa đơn không còn là sự lựa chọn cho bạn nữa.