AIエージェントにまだできないこと（委任してみた1年間のメモ）
デモでは、エージェントがフライトを予約し、バグを修正する様子が示されています。 1 年間の実際の代表団生活で境界線を学びましたが、それは一貫しています。
私は 1 年をかけて、実際のタスク、実際の期限、実際の結果など、実際に AI エージェントに仕事を委任することに努めてきました。デモは偽物ではありません。それらのタスクは完了します。デモに隠されているのは境界の形状ですが、これは私が試したすべてのエージェントで驚くほど一貫していることが判明しました。
境界の最初の側: エージェントは、完了が曖昧な目標に失敗します。 「このコードベースをクリーンアップ」すると、間違いなく間違った再編成が行われます。仕様が存在せず、エージェントは仕様を明らかにするような質問をオフィスに行うことができないためです。委任は、事前に定義可能な範囲で正確に機能します。ほとんどの知識労働はそうではありません。
2 番目の側面: エージェントは列挙に抵抗するコンテキストで失敗します。フライトの予約は数え切れないほどあります (サイト、フォーム、確認書)。悪い一日を過ごしている人と契約を再交渉することはそうではありません。失敗は能力の問題ではありません。それは、実際のコンテキストには、プロンプトには決して含まれない情報が含まれており、エージェントは自分が何を知らないのかがわからないということです。
3 番目の側面は静かな側面です。エージェントは結果的に失敗します。彼らは、間違った前提に基づいて、正しい前提と同じ自信を持って行動します。なぜなら、彼らのループ内には何も危険を感じていないからです。私が構築した実際の委任システムはいずれも、最終的に、取り返しのつかないアクションが発生したまさにその瞬間に人間によるチェックポイントを生成しました。これは、エージェントが頻繁にミスをしたからではなく、エージェントがミスをしたときに損傷が発生するまで信号がなかったためです。
これはいずれも解雇ではありません。この年はまた、数え切れないほど定義可能なゾーンで真の勝利をもたらしたが、それは懐疑論者が考えているよりも大きい。しかし、代表団の失敗は能力の問題ではなかったので、デモよりも境界の正直な地図の方が重要だ。これらは仕様上の問題であり、モデルをいくら改善しても仕様は作成されません。