Mô hình quyết định và mô hình lớn: Khi mô hình nhỏ là công cụ phù hợp

Đây là một điểm khác biệt bị bỏ sót trong diễn ngôn về AI: không phải mọi câu hỏi đều cần một mô hình có thể viết một bài luận. Một danh mục mới đã xuất hiện trong năm qua - các mô hình ra quyết định - và họ đang âm thầm thay đổi những gì được tự động hóa trên quy mô lớn.

Một mô hình quyết định thực hiện một việc: đưa ra một số thông tin đầu vào và một câu hỏi được đánh máy, nó sẽ trả về một lựa chọn có cấu trúc. Thư rác hay không. Tuyến đường ở đây hoặc ở đó. Phê duyệt hoặc leo thang. Đám mây hoặc tự lưu trữ. Đầu ra là một nhãn có điểm chứ không phải văn xuôi. Bởi vì nó chỉ phải thực hiện một lệnh gọi trong phạm vi hẹp nên nó có thể rất nhỏ - vài tỷ thông số - và đủ nhanh để chạy trong một yêu cầu, trên máy tính xách tay hoặc trên điện thoại.

Kinh tế là phần làm thay đổi các quyết định. Công cụ quyết định của Perplexity chạy ở mức khoảng 4 xu trên một triệu mã thông báo đầu vào mà không tính phí đầu ra. Cloudflare cũng tương tự. Một số chạy cục bộ dưới 10 mili giây. Thực hiện phép tính trên một quy trình phân loại một triệu mục mỗi tháng và sự khác biệt giữa mô hình chung và mô hình quyết định là toàn bộ ngân sách dự án.

Nơi họ thất bại là phần mà mọi người phát hiện ra quá muộn: các mô hình quyết định bị thu hẹp về mặt xây dựng. Yêu cầu một người tóm tắt một tài liệu, viết câu trả lời hoặc lý luận về hai phần bối cảnh xung đột nhau và bạn sẽ nhận được một điều gì đó nhỏ nhặt và sai lầm một cách tự tin. Họ cũng kế thừa bất kỳ thành kiến nào có trong quá trình đào tạo của họ - một bộ phân loại được đào tạo về các quyết định trong quá khứ sẽ tái tạo các quyết định trong quá khứ, bao gồm cả những quyết định tồi mà không có bất kỳ khả năng nào để nhận thấy khuôn mẫu.

Kiến trúc hoạt động được phân lớp và đây là phần thực sự hữu ích. Đặt mô hình quyết định lên phía trước, nơi nó lọc lưu lượng truy cập thông thường - phân loại, định tuyến, tính điểm - và chỉ để những trường hợp không chắc chắn chuyển sang mô hình lớn. Hầu hết khối lượng của bạn không bao giờ cần đến cấp đắt tiền và cấp đắt tiền sẽ chi ngân sách của mình cho những trường hợp có con người thực sự đang chờ đợi.

Mô hình tinh thần mà tôi tiếp tục quay lại: sử dụng mô hình viết văn xuôi khi bạn cần văn xuôi và sử dụng mô hình trả về nhãn khi bạn cần nhãn. Theo mặc định, mọi người tiếp cận mô hình biên giới vì đó là mô hình họ biết, và sau đó lặng lẽ trả tiền cho những đoạn văn mà họ định vứt đi. Câu hỏi đáng đặt ra không phải là mô hình thông minh đến mức nào mà là câu trả lời cần có hình dạng như thế nào.

Các câu hỏi thường gặp:

Câu hỏi: Mô hình quyết định AI là gì?

Đáp: Một mô hình nhỏ được xây dựng để trả về một câu trả lời đã nhập - nhãn, điểm, lựa chọn định tuyến - trong một lần chuyển, thay vì tạo văn bản. Nó thường chỉ bằng một phần nhỏ so với quy mô và chi phí của một trợ lý chung, điều này giúp cho việc tự động hóa khối lượng lớn có giá cả phải chăng.

Câu hỏi: Khi nào tôi nên sử dụng mô hình quyết định thay vì ChatGPT hoặc Claude?

Đáp: Khi nhiệm vụ được phân loại một cách ngụy trang - lọc thư rác, phân loại yêu cầu, định tuyến, phê duyệt hoặc báo cáo, loại bỏ trùng lặp - và câu trả lời là một nhãn. Sử dụng mô hình chung khi bạn cần văn xuôi, lập luận theo ngữ cảnh hoặc bất cứ điều gì mà một người sẽ đọc.

Hỏi: Các mô hình quyết định có thay thế các mô hình lớn không?

Đáp: Họ thay thế các mô hình lớn ở phía trước đường ống chứ không phải ở giữa đường ống. Mô hình hoạt động là phân loại giá rẻ đầu tiên, thế hệ đắt tiền thứ hai, đó là cách bạn xử lý được phần lớn khối lượng với một phần chi phí.