0.04 ドルの意思決定モデルが、私の迅速なエンジニアリングの多くを静かに置き換えています
私の「賢い」プロンプトの半分は、トレンチコートを着た単なる分類でした。
私は以前、フロンティア モデルに物事を決定させるための複雑なプロンプトを作成していました。スパムかどうか、層 A か B、エスカレーションするか終了するかなどです。
Perplexity の pplx-decider は 100 万トークンあたり 0.04 ドルで、その同等のプロンプトは高価な劇場であることに気づきました。
20 億パラメータの意思決定モデルは 1 回のパスで分類を実行し、解析する散文のないクリーンなラベルを返します。
これらの呼び出しのうち十数件を大型モデルから移動したところ、ユーザーが違いに気付かないまま請求額が下がりました。
プロンプト エンジニアリングは死んだわけではありませんが、その一部は実際にプロンプトをもたらすものではありませんでした。それは私たちが払いすぎた意思決定でした。
