Tuần này về AI: Cấp độ rẻ trở nên tốt đến mức đáng sợ
GPT-6 tiếp cận mọi người dùng ChatGPT, các mô hình nhỏ rẻ hơn đáng kể và một làn sóng các mô hình quyết định xuất hiện để thực hiện các cuộc gọi nhàm chán.
Tiêu đề tuần này là phạm vi tiếp cận chứ không phải sức mạnh thô. OpenAI đã hoàn thành việc triển khai GPT-6 cho các cấp độ Miễn phí và Đi vào khoảng ngày 8 tháng 10, đưa Giao diện người dùng thông minh, các biểu đồ và nút tương tác đó đến với hơn một tỷ người dùng hàng tuần. Bản thân mô hình này không mới nhưng bề ngoài thì: ChatGPT hiện soạn câu trả lời bằng các thành phần có thể nhấn vào thay vì một bức tường văn bản.
Về giá cả, các cấp nhỏ đã thực sự nói lên điều đó. Anthropic đã xuất xưởng Claude Haiku 5.5 vào ngày 7 tháng 10 với giá 0,10 USD trên một triệu mã thông báo đầu vào cho các lời nhắc dưới 100.000 mã thông báo, rẻ hơn khoảng 75% so với Haiku cũ và giảm một nửa giá đọc bộ đệm Sonnet 5.5 trong cùng ngày. Trong khi đó, Google đã giới hạn người dùng Gemini miễn phí sử dụng Flash Lite bắt đầu từ ngày 9 tháng 10, đây là một lời nhắc nhở thầm lặng rằng 'miễn phí' tiếp tục thu hẹp ở phân khúc cao nhất.
Sự thay đổi thú vị hơn là mô hình quyết định. Pplx-deider-v1-27b của Perplexity, ra mắt kể từ ngày 1 tháng 10, có giá 0,04 USD cho mỗi triệu mã thông báo đầu vào với đầu ra miễn phí. Clef và Clef-flash của Cloudflare, Strands Decisioner 2B của AWS và dòng d1 mở của Liquid AI đều đã cập bến vào đầu tháng 10 để thực hiện một việc: trả về một lựa chọn đã hiệu chỉnh thay vì tạo ra văn xuôi. OpenAI đã tham gia cùng họ vào ngày 6 tháng 10 với API Quyết định trả về câu trả lời cố định trong khoảng 150 mili giây và cắt cấp API từ năm xuống còn ba cùng ngày.
Chủ đề rất đơn giản. Các phòng thí nghiệm đang chạy đua về giá cả và quyền tự chủ cho các cuộc gọi lặp đi lặp lại, nhàm chán, không chỉ trên điểm chuẩn hàng đầu. Đối với bất kỳ ai chọn một mẫu trong tháng này, bước đi đúng đắn là kiểm tra mức giá rẻ so với bất kỳ mẫu nào bạn chạy hôm nay trước khi cho rằng bạn cần loại giá cao nhất.
Không có lý do nào trong số này là lý do để viết lại ngăn xếp của bạn. Đó là lý do để đánh giá lại các cuộc gọi bạn thực hiện hàng nghìn lần mỗi ngày, bởi vì đó là lúc khoản tiết kiệm thực sự xuất hiện.