한 달 동안 내 컴퓨터에서 AI 모델을 실행했습니다: 솔직한 메모
지역 모델은 이제 정말 훌륭하고 정말 다릅니다. 한 달간 매일 사용하여 무엇이 효과가 있었고 무엇이 효과가 없었는지에 대한 정직한 원장을 제공합니다.
한 달 동안 나는 초안 작성, 요약, 코드 완성 및 많은 실험 등 내 컴퓨터에서 실행되는 로컬 모델로 이동할 수 있는 모든 작업을 옮겼습니다. 솔직한 요약: 로컬은 실제이고 로컬은 다릅니다. 클라우드 모델과의 격차는 벤치마크에서 제안하는 것보다 좁고 매니아가 인정하는 것보다 넓습니다.
실제로 효과가 있었던 것: 상시 작업. 요약, 첫 번째 패스 초안 작성, 재작성 및 코드 완성은 내 목적에 따른 품질 저하 없이 한 달 내내 로컬에서 실행되었으며 개인 정보 보호는 가설이 아닙니다. 나는 메모를 요약하기 전에 메모를 수정하는 것을 중단했습니다. 이는 데이터가 실제로 떠나지 않을 때만 발생하는 동작 변화입니다.
나를 놀라게 한 점: 대기 시간은 누구도 가격을 매길 수 없는 기능입니다. 0.5초 만에 응답하는 로컬 모델은 빠른 검색 상자와 마찬가지로 사용 방법을 변경합니다. 나는 클라우드 모델에서는 결코 귀찮게 하지 않을 일회용 질문을 던졌고, 일회용 질문에는 많은 가치가 있는 것으로 밝혀졌습니다.
작동하지 않은 것: 큰 추론 작업. 긴 문서 분석, 복잡한 다단계 코드, 잘못하면 비용이 많이 드는 모든 작업이 2주차까지 여전히 최전방 클라우드 모델로 이동했습니다. 지역 모델은 두 번째 의견이 가장 필요한 작업에서 자신있게 실패하며 이는 위험한 조합입니다.
그 달은 내가 유지할 것으로 기대하는 분할로 끝났습니다. 대용량, 저부담, 개인 정보 보호 계층을 위한 로컬; 딥워크 레이어를 위한 클라우드. 하드웨어 비용은 현실이며 이제 매몰되었습니다. 그것을 고려하는 모든 사람을 위한 정직한 프레이밍: 로컬은 대체품이 아니며 두 번째 계층이며 마침내 한 계층의 가치가 있을 만큼 충분히 좋습니다.