専門分野の知識が即席のトリックに勝つ: 不快な実験

私は前四半期に不快な実験を行いました。迅速なテクニックを収集する友人と、単に私たちの分野を深く知っているだけの同僚に、同じ AI ツールと同じ問題が与えられました。プロンプト コレクターは、よりエレガントなプロンプトを生成しました。ドメインの専門家が有益な答えを導き出しました。これら 2 つの事実の間のギャップにより、AI スキルについての私の考え方が再整理されました。

メカニズムは出力で確認できました。エレガントなプロンプトは、役割、コンテキスト、制約、形式など、一般的によく構造化されていました。それらに含めることができなかったのは、どの制約が私たちの領域で実際に重要なのか、どのような障害モードが一般的なのか、そして「正しい」答えのどの部分が実際には間違っているのかという知識でした。ドメイン専門家の厄介なプロンプトには、これらすべてが含まれていました。

これは、私が実際に目にし続けたパターン、つまり、カジュアルな AI の習慣を持つ専門家が、精巧なシステムを備えた愛好家よりも優れたパフォーマンスを発揮するというパターンを説明しています。それは決して促しに関するものではありませんでした。専門家の 4 文のプロンプトには 20 年にわたる暗黙の仕様が含まれており、仕様は常に難しい部分でした。迅速なテクニックにより、簡単な 20% が最適化されます。

迅速なエンジニアリング業界にとって不快な意味合い: そのほとんどは、決してボトルネックではなかった部分を最適化するように人々に教えていることです。実際のテクニック (構造化された出力、少数ショットのサンプル、反復規律) はありますが、それらは最後の 10% であり、何を求めるべきかを示す専門知識がなければ役に立ちません。

それに応じて私自身の習慣も変わりました。プロンプトのトリックを探すのをやめ、プロンプトを提供する「何が重要で、何が問題になることが多いか」を文書化するドメイン ノートを書き始めました。プロンプトは短くなり、出力は改善されました。これが実験の結果を一言で言えば、知識が最初からプロンプトでした。