Các hạng cân mở rộng, cuối tháng 10: Le Chonk của Mistral và cuộc đua tải xuống

Bức tường có trọng lượng mở liên tục nứt trong tháng này. Mistral's Large 4 - một mô hình đa phương thức có tổng số nghìn tỷ tham số với 49 tỷ hoạt động và bối cảnh hàng triệu mã thông báo - đã xuất hiện ở dạng bản xem trước API kể từ ngày 6 tháng 10 và trọng số có thể tải xuống dự kiến sẽ giảm vào khoảng ngày 27 tháng 10 sau khi nhóm đỏ. Với mức giá ra mắt là 0,68 USD / 2,09 USD trên mỗi triệu mã thông báo, nó thấp hơn hầu hết các đối thủ đóng cửa về chi phí.

Reflection AI's Beam, một mô hình hỗn hợp chuyên gia thưa thớt gồm 501 tỷ thông số với bối cảnh hàng triệu mã thông báo nhằm mục đích mã hóa và suy luận, dự kiến sẽ mở cửa vào cuối tháng này theo giấy phép Apache 2.0. Muse Wonder của Meta, được phát hành vào ngày 12 tháng 10, có giá 4 đô la vào / ra 20 đô la và được cho là ở gần biên giới, mặc dù dữ liệu của nó được mặc định - nó đào tạo theo nội dung gửi của người dùng theo mặc định - đáng được đọc kỹ trước khi bất kỳ ai xây dựng nó.

Mô hình này nhất quán: các phòng thí nghiệm khép kín giữ ranh giới tuyệt đối, nhưng lớp 'đủ tốt và tự do lưu trữ' đang được lấp đầy nhanh chóng. Đối với các nhóm không thể gửi dữ liệu tới API của người khác, lớp đó hiện là nơi hoạt động sản xuất thực sự và tháng này đã làm cho menu lớn hơn rất nhiều.

Điều bắt buộc không thay đổi: trọng lượng mở có nghĩa là bạn sở hữu các hoạt động - GPU, phân phát, rào cản và đổ lỗi khi mô hình nói điều gì đó ngu ngốc. Tự lưu trữ một khối lượng công việc trong đó dữ liệu rời khỏi tòa nhà chưa được khởi động và thuê phần còn lại. Dù sao thì xe hybrid cũng rẻ hơn và tháng 10 đã khiến nó trở nên thiết thực.

Tôi sẽ không hủy đăng ký API của mình. Tôi đang chuyển khối lượng công việc nhạy cảm sang phần cứng mà tôi kiểm soát và các bản phát hành trong tháng này cuối cùng đã biến điều đó thành một lựa chọn thực sự thay vì tò mò nghiên cứu.