Mô hình mã hóa mở của NVIDIA chạy trên bàn của bạn. Đám mây vừa mất việc.
Flint đệ quy là mô hình mở 40B mã hóa cục bộ ở tốc độ 220 mã thông báo mỗi giây. Đó là một đường trên cát.
Bên cạnh phần cứng, NVIDIA đã giới thiệu Recursive Flint, một mô hình mã hóa hỗn hợp gồm 40 tỷ thông số với trọng số mở theo Apache 2.0, được báo cáo là trên 220 mã thông báo mỗi giây trên phần cứng RTX Spark.
Một mô hình tốt, nhỏ, cục bộ có nghĩa là rất nhiều tác vụ mã hóa 'gửi nó tới API' có thể vẫn còn trên máy. Độ trễ giảm xuống và mã của bạn không bao giờ rời khỏi hộp.
Nó sẽ không thay thế mô hình biên giới cho những công việc suy luận khó khăn. Nhưng 80% công việc thông thường -- soạn sẵn, kiểm tra, tái cấu trúc -- hiện có tùy chọn riêng tư, miễn phí.
Nếu bạn xây dựng công cụ dành cho nhà phát triển, hãy lập kế hoạch cho các mô hình địa phương thực hiện những phần nhàm chán. Đám mây không còn là mã địa điểm duy nhất được viết.