ほとんどの「AIエージェント」は、約束したことをまだ実行できていない

AI エージェントのデモはどれも魔法のように見えます。私が実際に実行したすべてのプロダクション エージェントは、10 分間優秀な仕事をして、その後静かにファイルの名前を変更するインターンのように見えます。

ギャップはメモリとガードレールです。チャットボットが質問に答えます。エージェントは、何かを実行し、それをチェックし、壊れた場合には回復することになっています。彼らのほとんどは回復部分が苦手です。

私は 1 人のエージェントに、3 つのダッシュボードを確認し、要約し、Slack に投稿するという簡単なタスクを与えました。それは2回成功しました。 3 回目は、ダッシュボードが遅かったため、午前 3 時に中途半端なドラフトを投稿しました。

ベンダーはモデルが急速に改良されていると言うでしょう、そして実際にそうです。しかし、「改善すること」と「監視なしで実行できるほど信頼できること」は別のハードルであり、私たちはまだ 2 番目のハードルに達していません。

私のアドバイスは、退屈かもしれませんが、お金、顧客、またはあなたの評判に関わることはすべて人間に知らせるようにしてください。エージェントは優れた副操縦士です。彼らはまだパイロットではありません。