我在自己的机器上运行人工智能模型一个月：诚实的笔记

在一个月的时间里，我把所有可以转移到在我自己的机器上运行的本地模型上的任务都转移了：起草、总结、代码完成和大量实验。诚实的总结：本地是真实的，本地是不同的，与云模型的差距比基准测试显示的要窄，比爱好者承认的要宽。

真正有效的是：永远在线的工作。总结、起草第一遍、重写和代码完成整个月都在本地运行，就我的目的而言，没有明显的质量损失，而且隐私保护也不是假设的；我在总结笔记之前停止了编辑笔记，这是一种行为改变，只有当数据真正没有离开时才会发生。

让我惊讶的是：延迟是没有人定价的功能。本地模型在半秒内回答会改变您使用它的方式，就像快速搜索框一样。我问了它一些我永远不会打扰云模型的一次性问题，结果这些一次性问题却蕴藏着很多价值。

什么不起作用：大推理工作。到第二周，长文档分析、复杂的多步骤代码以及任何错误代价高昂的事情仍然会被转移到前沿云模型中。本地模型在你最需要第二意见的任务上自信地失败了，这是一个危险的组合。

这个月以我希望保留的分割结束：本地用于高容量、低风险、隐私敏感层；本地用于高容量、低风险、隐私敏感层；深度工作层的云。硬件成本现在是真实存在且已沉没的。对于任何考虑它的人来说，诚实的框架是：本地不是替代品，它是第二层，并且最终足够好，值得一级。