正確さが必要になるまではマルチモーダルが優れています

1 つのチャットでスクリーンショット、PDF、質問と回答を一度に取得できるのが気に入っています。次に、請求書から 1 つのシリアル番号を読み取るように依頼したところ、桁が 1 つ間違っていて、間違った場所に支払いを送金するところでした。

マルチモーダル モデルは、要点では優れていますが、細部では雑です。彼らは文書を完璧に要約し、気づかずに数字を置き換えます。どうしてこれが魔法だと言えるのでしょう。これを正確にコピーする場合、彼らは責任を負います。

解決策はジョブを分割することです。モデルに理解させてから、重要な 1 つの検証を人間に行わせます。私は今、重要な数字を自分で読み取り、モデルにそれらの周りのすべてを処理させます。

これは苦情ではありません。それは境界です。このツールは事務員ではなくリーダーであり、事務員のように扱うことで、お金が間違った口座に移動することになります。

マルチモーダルは、具体的な意味ではなく、意味として使用してください。要旨は無料です。正確な境界線はまだ自分自身にあり、そうでないふりをすることで、小さな間違いが本当の間違いになります。