Benchmarks können Ihren Arbeitsablauf nicht vorhersagen (also hören Sie auf, Tools anhand des Scoreboards auszuwählen)

Alle paar Wochen übertrifft ein neues Modell die Benchmarks, im Einführungsthread wird erklärt, dass sich alles geändert hat, und Tausende von Menschen wechseln über Nacht das Werkzeug, um eine Erfolgsbilanz zu erzielen. Ich selbst habe das ein Jahr lang gemacht, dann ist mir etwas Peinliches aufgefallen: Meine Arbeitsergebnisse hatten keinen Zusammenhang mit der Bestenliste der von mir verwendeten Tools. Die Lücke zwischen Benchmark-Leistung und Workflow-Leistung ist kein Rundungsfehler. Es ist strukturell und das Verständnis dafür, warum sich die Art und Weise ändert, wie Sie Werkzeuge auswählen sollten.

Der erste strukturelle Grund: Benchmarking-Testaufgaben, Sie haben Workflows. Eine Benchmark-Frage ist eine eigenständige Frage mit einer überprüfbaren Antwort, die von einem neuen Modell ohne Kontext durchgeführt wird. Ihre Arbeit kommt mitten im Projekt an, eingebettet in Ihre Geschichte, Ihre Konventionen, Ihre Einschränkungen, und Ihr Output muss sich in alles integrieren, was Sie diesen Monat sonst noch gemacht haben. Das Single-Turn-Genie, das sich nicht an die gestrige Entscheidung erinnern kann, ist für Sie weniger nützlich als das etwas weniger brillante Modell, das in Ihre Pipeline passt, und Benchmarks können Pipelines nicht erkennen.

Zweitens: Benchmarks sind durchschnittlich, Ihre Arbeit nicht. Die Anzeigetafel ist ein Mittelwert über Tausende von Aufgaben und Ihre tatsächliche Arbeitsbelastung ist eine schiefe Verteilung von vielleicht sechs Aufgabentypen. Ein Modell, das im Durchschnitt um drei Punkte niedriger ist, kann in Ihrem spezifischen Mix erheblich besser sein, und die Gesamtzahl ist hier nicht nur nicht aussagekräftig, sondern auch irreführend, da sie Aufgaben bepreist, die Sie nie erledigen, und diejenigen, die Sie den ganzen Tag erledigen, abzieht. Ich habe beobachtet, wie ein Modell mit einem niedrigeren Rang den Champion ein Viertel lang bei meinen an die Transkription angrenzenden Aufgaben beständig besiegte, während die Branche die neue Punktzahl des Champions feierte.

Drittens: Die Zahlen messen die Leistungsfähigkeit, man erlebt Verlässlichkeit. Ein Modell, das in neunzig Prozent der Fälle brillant ist und in den übrigen Fällen souverän falsch liegt, kann in fünfundneunzig Prozent der Fälle ein Modell übertreffen, das gut ist und seine Unsicherheit anzeigt, aber für professionelle Arbeit ist das zweite mehr wert, weil Ihre Überprüfungskosten nicht linear in Bezug auf die Korrektheit verlaufen, sondern von den Misserfolgen dominiert werden, die wie Erfolge aussehen. Benchmarks bepreisen selten die Fehlerverteilung, und die Fehlerverteilung stellt Ihre tatsächlichen Kosten dar.

Der Ersatz, bei dem ich gelandet bin, ist peinlich Low-Tech: ein persönlicher Maßstab, der auf meiner eigenen Arbeit im letzten Monat basiert. Zehn bis fünfzehn echte Aufgaben, gespeichert mit ihren Eingaben und dem Standard, den sie erfüllen mussten, werden mit jedem Kandidatentool erneut ausgeführt, bewertet nach Ergebnis und Überprüfungskosten, nicht nach Beeindruckung. Der Aufbau dauert einen Nachmittag und seitdem hat es meine Zufriedenheit mit jeder Werkzeugauswahl korrekt vorhergesagt, und zwar auf eine Art und Weise, wie es noch nie eine Bestenliste getan hat. Die öffentlichen Benchmarks sind immer noch wichtig, um Grenzen zu verfolgen und zwischen Modellen zu wählen, von denen Sie nichts wissen. Aber für die Werkzeuge, die Ihre tägliche Arbeit betreffen, ist die einzige Anzeigetafel, die etwas vorhersagt, Ihre eigene, und Sie sind der Einzige, der sie erstellen kann.