Der Benchmark-Industriekomplex belügt Sie
Jedes Modell "schlägt GPT auf diesem Benchmark." Fast keine dieser Zahlen bedeutet, was der Tweet impliziert.
Ein Benchmark ist ein Test, den jemand geschrieben hat. In dem Moment, in dem ein Modell darauf trainiert wird, es zu übertreffen, misst der Test nicht mehr, was Sie denken, dass es misst. Das ist keine Verschwörung. So funktioniert die Messung.
Ich habe die Anzahl der Ankündigungen verloren, bei denen ein Modell die menschliche Leistung bei Aufgabe X "übertrifft", und Aufgabe X entpuppt sich als Multiple-Choice-Quiz mit einem bekannten Antwortschlüssel, den das Modell möglicherweise gesehen hat.
Die ehrlichen Benchmarks sind die langweiligen: Beantwortet es meine tatsächlichen Support-Tickets die meiste Zeit richtig, auf meinen tatsächlichen Daten. Niemand twittert das, weil es keine Zahl ist, die man auf eine Rangliste setzen kann.
Wenn Sie ein Tool bewerten, ignorieren Sie die Rangliste. Führen Sie es mit zehn echten Dingen aus, die Sie tun. Die Anzeigetafel dient der Mittelbeschaffung. Dein Posteingang ist für die Wahrheit.
Nichts davon bedeutet, dass die Modelle schlecht sind. Sie sind gut, sie sind einfach nicht so gut wie ihre eigenen Pressemitteilungen und nicht so schlecht, wie ihre Kritiker behaupten.