Tôi đã chạy các mô hình AI trên máy của chính mình trong một tháng: Những ghi chú trung thực

Trong một tháng, tôi đã chuyển mọi nhiệm vụ có thể chuyển sang các mô hình cục bộ chạy trên máy của riêng mình: soạn thảo, tóm tắt, hoàn thành mã và rất nhiều thử nghiệm. Tóm tắt trung thực: cục bộ là có thật, cục bộ là khác và khoảng cách với các mô hình đám mây hẹp hơn so với các điểm chuẩn đề xuất và rộng hơn so với những gì những người đam mê thừa nhận.

Những gì thực sự hiệu quả: những công việc luôn được thực hiện. Quá trình tóm tắt, soạn thảo lần đầu tiên, viết lại và hoàn thiện mã được thực hiện cục bộ cả tháng mà không làm giảm chất lượng về mặt nhận thức đối với mục đích của tôi và việc giảm bớt quyền riêng tư không phải là giả thuyết; Tôi đã ngừng biên tập lại các ghi chú trước khi tóm tắt chúng, đây là một thay đổi về hành vi chỉ xảy ra khi dữ liệu thực sự không còn nữa.

Điều làm tôi ngạc nhiên: độ trễ là tính năng không ai đánh giá cao. Mô hình cục bộ trả lời trong nửa giây sẽ thay đổi cách bạn sử dụng nó giống như cách hộp tìm kiếm nhanh đã làm. Tôi đã hỏi nó những câu hỏi mà tôi sẽ không bao giờ bận tâm đến mô hình đám mây và những câu hỏi đó hóa ra lại là nơi chứa đựng rất nhiều giá trị.

Điều không hiệu quả: những công việc có tính toán lớn. Phân tích tài liệu dài, mã nhiều bước phức tạp và bất kỳ sai sót nào đều gây tốn kém vẫn được chuyển sang mô hình đám mây biên giới vào tuần thứ hai. Các mô hình địa phương tự tin thất bại trong chính những nhiệm vụ mà bạn cần ý kiến thứ hai nhất, đây là một sự kết hợp nguy hiểm.

Tháng kết thúc với sự phân chia mà tôi dự kiến sẽ giữ: cục bộ cho lớp có khối lượng lớn, số tiền đặt cược thấp, nhạy cảm với quyền riêng tư; đám mây cho lớp làm việc sâu. Chi phí phần cứng là có thật và bây giờ đã giảm xuống. Khung thành trung thực dành cho bất kỳ ai đang xem xét nó: địa phương không phải là sự thay thế, nó là cấp thứ hai và cuối cùng nó đủ tốt để có giá trị ở một cấp.