Haiku 5.5 が安すぎるのでトークンを溜め込むのをやめた

Anthropic は 10 月 7 日に Claude Haiku 5.5 を、前バージョンよりも約 75% 低いコスト (100 万トークンあたり約 0.10 ドル、約 0.50 ドル) でリリースしました。この数字は私のアーキテクチャを静かに変えました。

以前は、ルーティングについて考えるオーバーヘッドを避けるために、すべてのサブタスクを 1 つの大きなモデルにまとめていました。現在、私は分類、ルーティング、短い概要を Haiku に送信し、判断が必要ないくつかのステップのために高価なモデルを保持しています。

節約できるのは請求額だけではありません。それは、すべてのメッセージに対してひるむことなく、小さなモデルを常に実行できるということです。大きなモデルはデフォルトではなく、お楽しみになりました。

エージェント的なものを構築している場合、ピークスコアよりも通話あたりの価格の方が重要です。 Haiku 5.5 は、安価なルーティングを中心とした設計を主張しています。