Người quyết định 0,04 đô la của Perplexity đã âm thầm thay đổi ý nghĩa của 'Rẻ'
Mô hình 27B quyết định chỉ bằng một phần xu sẽ biến 'tôi có nên gọi LLM không' thành câu hỏi mà bạn có thể hỏi hàng nghìn lần.
Perplexity mã nguồn mở pplx-decider-v1-27b ở mức 0,04 USD trên một triệu mã thông báo đầu vào với đầu ra miễn phí. Giá đó không phải là giảm giá, đó là một danh mục. Đối với quyết định định tuyến có hoặc không, việc gọi mô hình biên giới ở mức 2 đô la là quá mức cần thiết; gọi đây là lỗi làm tròn, vì vậy bạn ngừng đưa ra quyết định.
Công dụng mà tôi thực sự đã tìm thấy: một mô hình nhỏ quyết định mô hình nào lớn hơn sẽ xử lý một yêu cầu. Hãy chuyển những thứ dễ dàng sang mô hình giá rẻ, những thứ khó đến mô hình biên giới và chi phí trung bình của bạn giảm xuống mà người dùng không nhận thấy. Người quyết định tự trả tiền vì nó đứng trước mọi cuộc gọi.
Clef và Clef-flash của Cloudflare, cũng mở và rẻ với đầu ra miễn phí, cũng đi theo hướng tương tự. Lớp thú vị của năm 2026 không phải là mô hình lớn nhất mà là mô hình nhỏ nhất đủ thông minh để nói 'gửi cái này đi nơi khác'. Các mô hình quyết định là cơ sở hạ tầng, không phải tính năng.
Nếu bạn đang xây dựng bất kỳ thứ gì có LLM trong vòng lặp, thì mức quyết định 0,04 USD là cách tối ưu hóa rẻ nhất mà bạn chưa thử. Nó biến 'tôi có thực sự cần mô hình lớn cho việc này không' từ một cuộc họp thiết kế thành một dòng mã.