Nach einer schlechten Woche habe ich aufgehört, KI-Benchmarks zu vertrauen

Eine Zeit lang wählte ich Modelle anhand der Bestenliste aus, und dann schrieb mir ein Modell, das drei Charts anführte, einen sicher falschen Absatz über eine Steuerregel. Der Benchmark sagte, es sei intelligent. In dem Absatz hieß es, man habe keine Ahnung, wovon es spreche.

Benchmarks messen einen schmalen, sauberen Teil der Arbeit. Echte Aufgaben sind chaotisch, unzureichend spezifiziert und voller Kontext, den der Test nicht berücksichtigt hat. Ein Modell, das einen Argumentationsmaßstab übertrifft, kann dennoch ein Zitat zu Ihrer spezifischen Frage erfinden.

Was ich jetzt vertraue, ist die Zahl, die aus meiner eigenen Verwendung stammt: Wie oft muss ich ihre Ausgabe noch einmal überprüfen, bevor ich meinen Namen darauf schreiben würde? Das ist ein Maßstab, den Sie durch die Arbeit erstellen, nicht durch das Lesen eines Diagramms, das jemand veröffentlicht hat.

Die Labore wissen das. Aus diesem Grund bieten sie anpassbare Denkanstrengungen und Routing-Modelle an: Sie geben zu, dass die durchschnittliche Punktzahl den entscheidenden Teil verbirgt, nämlich ob es für Ihren Job richtig ist.

Lesen Sie die Benchmarks für den Trend, nicht das Urteil. Führen Sie dann Ihren eigenen 30-Beispiele-Test für die Sache durch, die Sie tatsächlich tun, und lassen Sie diese Zahl die Zahl sein, an die Sie sich erinnern.