Die Open-Weight-Flut bedeutet, dass Sie bald KI auf Ihrer eigenen Maschine ausführen werden

Die Meta-Eröffnung von Muse Spark Open und Mistral, die die Gewichte von Large 4 verspricht, ist der Beginn von etwas Praktischem, nicht nur Ideologischem.

Für Teams, die keine Daten an die API eines anderen senden können, bedeutete Selbsthosting früher ein schwächeres Modell. Diese Lücke schließt sich. Ein Billionen-Parameter-Modell, das Sie herunterladen können, ändert, was „private KI“ bedeutet.

Der Haken ist ops. Offene Gewichtungen bedeuten, dass Sie die Server, die Leitplanken und die Schuld besitzen. Für einen Solo-Entwickler ist das eine GPU; Für ein Unternehmen ist es eine Plattform und eine Anstellung.

Ich werde meine API-Abonnements nicht kündigen. Ich verschiebe den einen Workload, bei dem die Daten, die das Gebäude verlassen, für die von mir kontrollierte Hardware nie akzeptabel waren.

Der Hybrid – Mieten Sie die Grenze, besitzen Sie die Sensiblen – ist diese Woche viel praktischer geworden, und das ist die Geschichte, die es wert ist, verfolgt zu werden.