10月の静かな物語: たったこれだけで決まる小さなモデルたち
Perplexity、Cloudflare、Microsoft、AWS はすべて、意思決定モデルを出荷しています。安くて、ローカルで、良い意味で退屈です。
誰もが大きなチャットボットに注目している間に、段落ではなく選択肢を返す意思決定モデルという別のカテゴリが出荷されました。
Perplexity の pplx-decider-v1-27b は、無料出力で 100 万入力トークンあたり約 4 セントで実行されます。 CloudflareのClefとAWSのStrands Deciderは、セルフホストできる同様のジョブを実行します。
重要なのは賢さではありません。それは退屈な呼び出しのコストと待ち時間です。このチケットをルーティングし、この入力を分類し、このアクションを選択します。
ビルダーにとって、これは他の主力リリースよりも役立つリリースです。 4 セントの決断は、100 万件のエッセイを作成すると、2 ドルのエッセイに勝ります。
さらなる期待が高まります。 AI のコモディティ層は急速に安価になっており、そこから製品が構築されます。
