Tôi đặt một mô hình AI cục bộ vào chiếc máy tính xách tay 5 năm tuổi của mình. Nó chậm hơn đám mây và tôi tiếp tục sử dụng nó
Không có internet, không đăng ký, không có dữ liệu rời khỏi nhà. Các câu trả lời mất nhiều thời gian hơn và tôi đã ngừng quan tâm - đây là nơi địa phương thực sự phù hợp.
Cuộc thử nghiệm được cho là một sự sa thải. Máy tính xách tay đã 5 năm tuổi, RAM 16 GB, không có GPU rời - chạy một mẫu máy cục bộ và xác nhận những gì mọi người nói: đồ chơi đẹp, không sử dụng được cho công việc thực tế. Một tuần sau mô hình vẫn được cài đặt và tôi tiếp tục mở nó. Không phải cho tất cả mọi thứ. Nhiều hơn những gì tôi mong đợi.
Đầu tiên là các con số, vì bạn sẽ hỏi: một mô hình mở cỡ trung bình, được lượng tử hóa, tạo ra với tốc độ gần như bằng tốc độ nói trên máy này. Mã thông báo đầu tiên mất vài giây. Đó là toàn bộ câu chuyện kinh dị và nó có thật — đối với mọi thứ ở dạng dài, đám mây nhanh hơn và thông minh hơn từ 5 đến 10 lần. Tôi sẽ không giả vờ như người mẫu địa phương đã viết bản tin của tôi.
Thay vào đó, những gì nó làm là ba công việc trong đó 'chậm hơn nhưng riêng tư' sẽ giành chiến thắng hoàn toàn. Ghi chú cuộc họp có bất kỳ nội dung nào xác định khách hàng: bản ghi không bao giờ rời khỏi máy, điều mà những người bạn luật sư của tôi đã hỏi và các công cụ đám mây của tôi không có câu trả lời thỏa đáng. Đọc bản thảo thứ hai bài viết của chính tôi vào lúc nửa đêm khi ý tưởng còn ít và internet bị tắt. Và niềm vui đơn giản khi đặt những câu hỏi ngớ ngẩn mà không phải lo lắng về việc ghi nhật ký.
Điều ngạc nhiên là độ tin cậy chứ không phải khả năng. Các công cụ đám mây bị ngừng hoạt động, giới hạn tỷ lệ và cơ cấu lại giá trong tuần này. Người mẫu địa phương có tính cách giống nhau mỗi ngày. Đó là một nền tảng tồi cho công việc tiên tiến và là một nền tảng tuyệt vời cho khối lượng công việc nhàm chán của bạn - những thứ bạn không bao giờ khoe khoang nhưng vẫn làm liên tục.
Ai nên bỏ qua phần này: bất kỳ ai có câu hỏi cần trí thông minh của mô hình biên giới và bất kỳ ai không đủ kiên nhẫn để tải xuống và trang cài đặt. Ai nên thử: bất kỳ ai có danh sách 'những thứ tôi không thể dán vào chatbot' đang ngày càng dài hơn những thứ họ có thể. Máy tính xách tay không trở thành siêu máy tính. Nó đã trở thành nơi mà một nửa câu hỏi nhạy cảm của tôi có thể đi đến đâu đó.