Das Einzige, was ich lokal betreibe, ist das, wofür ich gefeuert werde, wenn ich es verliere

Ich bin kein selbstveranstaltender Evangelist. Ich miete die Frontier-Modelle für fast alles, weil es einfacher ist und die Qualität stimmt. Aber es gibt eine Klasse von Arbeiten, die ich nicht an irgendjemandes API senden möchte, und es ist die Klasse, die meine Karriere beenden würde, wenn sie durchsickern würde.

Kundendaten, unveröffentlichte Produktdetails, alles, was mit dem Namen einer Person verbunden ist, das auf Hardware läuft, die ich kontrolliere, auf einem Open-Weight-Modell, das ich heruntergeladen habe. Der leichte Qualitätsabfall ist ein Preis, den ich für die Garantie zahle, dass die Bytes das Gebäude nicht verlassen.

Die offene Gewichtsschicht ist dieses Jahr so gut geworden, dass dies praktisch ist. Ein Billionen-Parameter-Modell, das Sie selbst ausführen können, ist nicht die Grenze, aber es ist gut genug für die sensiblen 5 % meiner Arbeit, und das ist der Teil, bei dem der Kompromiss tatsächlich zählt.

Alles andere, die Entwürfe, die Zusammenfassungen, das Brainstorming, läuft in der Cloud, weil dort der Komfort mehr wert ist als das Risiko. Der Hybrid funktioniert nur, wenn Sie ehrlich sind, in welchem Bereich sich die jeweilige Aufgabe befindet.

Brechen Sie Ihre Abonnements nicht ab. Verschieben Sie den einen Workload, bei dem Daten, die das Gebäude verlassen, für Ihre eigene Hardware nie akzeptabel wären, und belassen Sie den Rest dort, wo es einfach ist.