意思決定モデルと大きなモデル: 小さなモデルが適切なツールである場合
20 億パラメータのモデルは、1 セント未満の費用でラベルを返すことができます。それによって、自動化する価値のあるものが変わります。
ここに、AI の議論で失われている区別があります。すべての質問にエッセイを書けるモデルが必要なわけではありません。昨年、新しいカテゴリである意思決定モデルが登場し、大規模に自動化されるものを静かに変えています。
意思決定モデルは 1 つのことを行います。入力と入力された質問が与えられると、構造化された選択肢を返します。 Spam or not. Route here or there. Approve or escalate. Cloud or self-hosted.出力は散文ではなく、スコア付きのラベルです。 Because it only has to make one narrow call, it can be tiny - a couple of billion parameters - and fast enough to run inside a request, on a laptop, or on a phone.
The economics are the part that changes decisions. Perplexity's decider runs at roughly four cents per million input tokens with no output charge. Cloudflare's is similar.一部は 10 ミリ秒未満でローカルで実行されます。 Do the arithmetic on a pipeline that classifies a million items a month and the difference between a general model and a decision model is the whole project budget.
失敗するのは、誰もが発見するのが遅すぎる部分です。つまり、意思決定モデルの構造が狭いのです。 Ask one to summarize a document, write a reply, or reason across two conflicting pieces of context and you get something confidently small and wrong. They also inherit whatever bias sits in their training - a classifier trained on past decisions will reproduce past decisions, including the bad ones, without any ability to notice the pattern.
機能するアーキテクチャは階層化されており、これが本当に役立つ部分です。 Put the decision model in front, where it filters the routine traffic - classify, route, score - and let only the uncertain cases escalate to the big model. Most of your volume never needs the expensive tier, and the expensive tier gets to spend its budget on the cases where a human is actually waiting.
私が何度も戻ってくるメンタル モデルは、散文が必要な場合は散文を書くモデルを使用し、ラベルが必要な場合はラベルを返すモデルを使用することです。人々は、それが自分の知っているモデルであるため、デフォルトでフロンティアモデルに手を伸ばし、捨てようとしていた段落に対して静かにお金を支払います。問う価値のある質問は、モデルがどれほど賢いかではなく、答えがどのような形である必要があるかということです。
よくある質問:
Q: AI 意思決定モデルとは何ですか?
A: A small model built to return one typed answer - a label, a score, a routing choice - in a single pass, instead of generating text. It is typically a fraction of the size and cost of a general assistant, which is what makes high-volume automation affordable.
Q: ChatGPT や Claude の代わりに意思決定モデルを使用する必要があるのはどのような場合ですか?
A: タスクがスパム フィルタリング、チケットのトリアージ、ルーティング、承認またはエスカレート、重複排除などの隠れた分類であり、その答えがラベルである場合。散文、文脈全体にわたる推論、または人が読むであろうものが必要な場合は、一般的なモデルを使用します。
Q: 意思決定モデルは大きなモデルに取って代わるのでしょうか?
A: パイプラインの途中ではなく、パイプラインの先頭で大きなモデルを置き換えます。うまくいくパターンは、最初に安価な分類、次に高価な世代です。これにより、わずかなコストでほとんどのボリュームを処理できるようになります。