オープンウェイト、10月下旬：ミストラルのル・チョンクとダウンロード競争

今月、オープンウェイトの壁はひび割れ続けた。 Mistral の Large 4 (490 億のアクティブと 100 万のトークン コンテキストを備えた合計パラメータ数 10 兆のマルチモーダル モデル) は、10 月 6 日から API プレビューで公開されており、ダウンロード可能な重みはレッドチーム化後、10 月 27 日頃に低下する予定です。 100 万トークンあたり 0.68 ドル / 2.09 ドルの開始価格で、コスト面でほとんどの非公開ライバルを下回ります。

Reflection AI の Beam は、コーディングと推論を目的とした 100 万トークンのコンテキストを備えた 5,010 億パラメータの疎な専門家混合モデルで、Apache 2.0 ライセンスに基づいて今月後半にその重みがオープンされる予定です。 10 月 12 日にリリースされた Meta の Muse Wonder は、インが 4 ドル、アウトが 20 ドルで、フロンティアに近いと伝えられていますが、データのデフォルト (デフォルトでユーザーの投稿に基づいてトレーニングされる) は、誰かがそれを構築する前に注意深く読む価値があります。

パターンは一貫しています。クローズド ラボは絶対的なフロンティアを維持していますが、「十分に優れており、自由にセルフホストできる」層は急速に埋まっています。他の人の API にデータを送信できないチームにとって、そのレイヤーが実際の運用作業の場所となり、今月はそのメニューが大幅に拡大されました。

問題は変わっていません。オープンウェイトは、GPU、サービング、ガードレール、そしてモデルが何か愚かなことを言ったときの責任などの操作を所有していることを意味します。建物からデータが流出することが問題となる 1 つのワークロードを自己ホストし、残りをレンタルします。いずれにしてもハイブリッドの方が安価であり、10月には実用化された。

API サブスクリプションを廃止するつもりはありません。私は機密性の高いワークロードを自分が制御するハードウェアに移動していますが、今月のリリースにより、それが研究上の好奇心ではなく実際の選択肢になりました。