小規模モデルがデモを食い荒らしている

最近のデモ リールを見ると、あるパターンが見えてきます。派手な部分は通常、恐ろしい精度で 1 つの仕事をこなす小型の特殊なモデルであり、辺境の巨人ではありません。 270 億のパラメータ決定ルーティング サポート チケット、CPU 上で Whisper を上回る小さな転写モデル、1 セントでイエス/ノーの呼び出しを行う 20 億のモデル。

これは正しいアーキテクチャです。フロンティア モデルは素晴らしいジェネラリストであり、1,000 万回実行されるタスクにとっては恐ろしい価値があります。取引量が多くなると、経済状況は大きく反転します。100 万あたり 0.04 ドルの意思決定モデルは、同じレーベルの 2 ドルの意思決定モデルを打ち破ります。

建設業者にとって、これは多くの場合、小規模から始めるのが賢明な選択であることを意味します。タスクが焦点を絞ったモデルで機能することを証明してから、実際に必要な場合にのみフロンティア モデルにエスカレーションします。ほとんどのパイプラインは 95% がルーチンで、5% がハードであり、そのすべてをフロンティアクラスとして扱うと予算が膨れ上がります。

来年優勝するデモは、「私たちのモデルがどれほど大きいかを見てください」というものではないでしょう。 「これを完璧にやるのにどれだけコストがかからないか見てみましょう」ということになるでしょう。デモを食べる小型モデルは、スケジュール通りに到着するコストが現実的なだけです。