Executei modelos de IA em minha própria máquina por um mês: notas honestas

Durante um mês, movi todas as tarefas que poderiam ser movidas para modelos locais executados em minha própria máquina: rascunho, resumo, conclusão de código e muita experimentação. O resumo honesto: o local é real, o local é diferente e a lacuna em relação aos modelos de nuvem é menor do que os benchmarks sugerem e maior do que os entusiastas admitem.

O que realmente funcionou: os empregos sempre ativos. O resumo, o rascunho das primeiras passagens, a reescrita e a conclusão do código foram executados localmente durante todo o mês, sem perda perceptiva de qualidade para meus propósitos, e o alívio de privacidade não é hipotético; Parei de redigir notas antes de resumi-las, o que é uma mudança de comportamento que só acontece quando os dados realmente não vão embora.

O que me surpreendeu: latência é um recurso que ninguém valoriza. Um modelo local respondendo em meio segundo muda a forma como você o usa, da mesma forma que uma caixa de pesquisa rápida fez. Fiz perguntas descartáveis ​​com as quais nunca me preocuparia em um modelo de nuvem, e as perguntas descartáveis ​​acabaram sendo onde residia grande parte do valor.

O que não funcionou: os grandes trabalhos de raciocínio. A análise de documentos longos, o código complexo de várias etapas e qualquer coisa em que estar errado custa caro ainda foram para os modelos de nuvem de fronteira na segunda semana. Os modelos locais falham com segurança exatamente nas tarefas em que você mais precisa de uma segunda opinião, o que é uma combinação perigosa.

O mês terminou com uma divisão que espero manter: local para a camada de alto volume, baixo risco e sensível à privacidade; nuvem para a camada de trabalho profundo. O custo do hardware é real e irrecuperável agora. O enquadramento honesto para quem está considerando isso: local não é um substituto, é um segundo nível e, finalmente, é bom o suficiente para valer um nível.