Open Weights, Ende Oktober: Mistrals Le Chonk und der Wettlauf um den Download
Die offene Wand knackte diesen Monat immer wieder. Mistrals Large 4 – ein multimodales Billionen-Gesamtparametermodell mit 49 Milliarden aktiven und einem Millionen-Token-Kontext – ist seit dem 6. Oktober in der API-Vorschau live, und die herunterladbaren Gewichtungen sollen nach dem Red-Teaming um den 27. Oktober herum sinken. Mit einem Einführungspreis von 0,68 US-Dollar pro Million Token liegt es preislich unter den meisten geschlossenen Konkurrenten.
Beam von Reflection AI, ein spärliches Expertenmischungsmodell mit 501 Milliarden Parametern und einem Millionen-Token-Kontext, der auf Codierung und Argumentation abzielt, wird voraussichtlich noch in diesem Monat unter einer Apache 2.0-Lizenz seine Gewichte veröffentlichen. Metas Muse Wonder, das am 12. Oktober veröffentlicht wurde, liegt bei 4 US-Dollar in / 20 US-Dollar in der Ausgabe und liegt Berichten zufolge nahe an der Grenze, obwohl seine Datenstandards – es trainiert standardmäßig auf Benutzereingaben – eine sorgfältige Lektüre verdienen, bevor jemand darauf aufbaut.
Das Muster ist konsistent: Die geschlossenen Labore behalten die absolute Grenze, aber die Ebene „gut genug und frei zum Selbsthosten“ füllt sich schnell. Für Teams, die keine Daten an die API eines anderen senden können, ist diese Ebene jetzt der Ort, an dem die eigentliche Produktionsarbeit stattfindet, und in diesem Monat wurde das Menü um einiges erweitert.
Der Haken hat sich nicht geändert: Offene Gewichtungen bedeuten, dass Sie die Verantwortung für den Betrieb haben – GPUs, Bereitstellung, Leitplanken und die Schuld, wenn das Modell etwas Dummes sagt. Hosten Sie den einen Workload selbst, bei dem Daten, die das Gebäude verlassen, nicht funktionieren, und mieten Sie den Rest. Der Hybrid ist so oder so günstiger, und im Oktober ist er praktisch geworden.
Ich werde meine API-Abonnements nicht kündigen. Ich verlagere die sensible Arbeitslast auf die Hardware, die ich kontrolliere, und die Veröffentlichungen dieses Monats haben dies endlich zu einer echten Option und nicht zu einer Forschungskuriosität gemacht.