Fachwissen schlägt schnelle Tricks: Ein unangenehmes Experiment

Ich habe letztes Quartal ein unangenehmes Experiment durchgeführt: Ein Freund, der Prompt-Techniken sammelt, und ein Kollege, der sich einfach bestens mit unserem Fachgebiet auskennt, bekamen die gleichen KI-Tools und das gleiche Problem. Der Prompt-Sammler produzierte elegantere Prompts. Der Domain-Experte lieferte die nützliche Antwort. Die Kluft zwischen diesen beiden Tatsachen hat meine Einstellung zu KI-Fähigkeiten verändert.

Der Mechanismus war in den Ausgaben sichtbar. Die eleganten Eingabeaufforderungen waren im Allgemeinen gut strukturiert: Rolle, Kontext, Einschränkungen, Format. Was sie nicht enthalten konnten, war das Wissen darüber, welche Einschränkungen in unserem Bereich tatsächlich von Bedeutung sind, welche Fehlerarten häufig vorkommen und welcher Teil der „richtigen“ Antwort in der Praxis tatsächlich falsch ist. Die chaotischen Eingabeaufforderungen des Domänenexperten enthielten all das.

Dies erklärt ein Muster, das ich in freier Wildbahn immer wieder gesehen habe: Experten mit gelegentlichen KI-Gewohnheiten übertreffen Enthusiasten mit ausgefeilten Systemen. Es ging nie um die Aufforderung. Die aus vier Sätzen bestehende Eingabeaufforderung des Experten enthält zwanzig Jahre impliziter Spezifizierung, und die Spezifizierung war immer der schwierige Teil. Die schnelle Technik optimiert die einfachen 20 Prozent.

Die unangenehme Folge für die Prompt-Engineering-Branche: Der größte Teil davon besteht darin, den Leuten beizubringen, den Teil zu optimieren, der nie der Engpass war. Es gibt echte Techniken (strukturierte Ausgaben, wenige Beispiele, Iterationsdisziplin), aber das sind die letzten 10 Prozent und sie sind wertlos ohne das Domänenwissen, das Ihnen sagt, wonach Sie fragen müssen.

Meine eigene Praxis änderte sich entsprechend: Ich hörte auf, nach Tricks mit Eingabeaufforderungen zu suchen, und begann, Domänennotizen zu schreiben, die „Was wichtig ist und was normalerweise schief geht“-Dokumente, die meine Eingaben unterstützen. Die Eingabeaufforderungen wurden kürzer und die Ergebnisse besser, was das Ergebnis des Experiments in einem Satz zusammenfasst: Das Wissen war die ganze Zeit die Eingabeaufforderung.