API Quyết định là một chiến thắng nhàm chán khiến các đại lý thực sự hoạt động

Microsoft đã đưa API Quyết định Azure OpenAI vào trạng thái sẵn sàng rộng rãi và hầu như không ai để ý. Nó trả về các lựa chọn, xác suất và điểm tin cậy thay vì văn bản được tạo. Đó là điều hữu ích nhất xảy ra với các đại lý trong nhiều tháng.

Đại lý không cần một đoạn văn. Họ cần một nhánh để chiếm lấy. Khi một mô hình trả về 'lựa chọn B, độ tin cậy 82 phần trăm' thay vì ba câu phòng ngừa rủi ro, tác nhân có thể hành động thay vì đoán xem mô hình có ý nghĩa gì.

Xu hướng hướng tới các kết quả đầu ra mang tính xác định, điểm số trên các câu, là điều khiến các đại lý rời khỏi bản demo và được đưa vào bảng lương. Một hệ thống trả về văn bản cần một mô hình khác để phân tích văn bản đó. Một hệ thống trả về một số chỉ chạy.

Tôi sẽ giành được mười chiến thắng API nhàm chán như thế này chỉ sau một bản phát hành mô hình hào nhoáng. Cơ sở hạ tầng là những gì vận chuyển. Văn xuôi là những gì được chụp màn hình.