Ich habe einen Monat lang KI-Modelle auf meinem eigenen Computer ausgeführt: Ehrliche Anmerkungen
Lokale Modelle sind jetzt wirklich gut und wirklich anders. Ein Monat täglicher Nutzung, mit einer ehrlichen Übersicht darüber, was funktioniert hat und was nicht.
Einen Monat lang habe ich jede Aufgabe, die sich bewegen ließ, auf lokale Modelle verlagert, die auf meinem eigenen Computer ausgeführt wurden: Entwurf, Zusammenfassung, Code-Vervollständigung und viel Experimentieren. Die ehrliche Zusammenfassung: Lokal ist real, lokal ist anders, und der Abstand zu Cloud-Modellen ist geringer als die Benchmarks vermuten lassen und größer als die Enthusiasten zugeben.
Was wirklich funktioniert hat: die Always-on-Jobs. Zusammenfassung, Entwurf erster Durchgänge, Umschreiben und Vervollständigung des Codes liefen lokal den ganzen Monat über, ohne dass es für meine Zwecke zu einem spürbaren Qualitätsverlust kam, und die Verbesserung der Privatsphäre ist nicht hypothetisch; Ich habe aufgehört, Notizen zu redigieren, bevor ich sie zusammenfasste. Dies ist eine Verhaltensänderung, die nur dann auftritt, wenn die Daten wirklich nicht gelöscht werden.
Was mich überrascht hat: Latenz ist das Feature, das niemand schätzt. Ein lokales Modell, das in einer halben Sekunde antwortet, ändert die Art und Weise, wie Sie es verwenden, so wie es ein schnelles Suchfeld getan hat. Ich habe ihm Wegwerffragen gestellt, mit denen ich ein Cloud-Modell nie belästigen würde, und es stellte sich heraus, dass die Wegwerffragen darin bestanden, wo ein großer Teil des Werts steckte.
Was nicht funktionierte: die großen Argumentationsjobs. Lange Dokumentanalysen, komplexer mehrstufiger Code und alles, wo Fehler teuer sind, landeten in der zweiten Woche immer noch in den Frontier-Cloud-Modellen. Lokale Models scheitern souverän genau bei den Aufgaben, bei denen man am meisten eine zweite Meinung braucht, was eine gefährliche Kombination ist.
Der Monat endete mit einer Aufteilung, die ich voraussichtlich beibehalten werde: lokal für die Ebene mit hohem Volumen, geringem Einsatz und sensibler Privatsphäre; Cloud für die Deep-Work-Schicht. Die Hardwarekosten sind real und jetzt gesunken. Der ehrliche Rahmen für jeden, der darüber nachdenkt: Lokal ist kein Ersatz, es ist eine zweite Stufe und schließlich gut genug, um eine Stufe wert zu sein.