Das 0,04-Dollar-Entscheidungsmodell ersetzt still und leise einen Großteil meiner prompten Technik
Die Hälfte meiner „cleveren“ Eingabeaufforderungen waren nur Klassifizierungen im Trenchcoat.
Früher habe ich ausführliche Eingabeaufforderungen geschrieben, um ein Grenzmodell über Dinge entscheiden zu lassen: Spam oder nicht, Stufe A oder B, eskalieren oder schließen.
Der pplx-Entscheider von Perplexity bei 0,04 $ pro Million Token und seine Kollegen haben mir klar gemacht, dass diese Eingabeaufforderungen teures Theater waren.
Ein Entscheidungsmodell mit zwei Milliarden Parametern führt die Klassifizierung in einem Durchgang durch und gibt ein sauberes Etikett zurück, ohne dass Prosa analysiert werden muss.
Ich habe ein Dutzend dieser Anrufe vom großen Modell entfernt und die Rechnung ist gesunken, ohne dass der Benutzer einen Unterschied bemerkt hat.
Prompt Engineering ist nicht tot, aber ein Teil davon war nie wirklich prompt. Es war eine Entscheidung, für die wir zu viel bezahlt haben.