Multimodal é ótimo até que você precise que seja exato

Adoro que um bate-papo agora possa fazer uma captura de tela, um PDF e uma pergunta e resposta, tudo de uma vez. Então pedi para ler um único número de série de uma fatura e ele me deu um dígito errado, e quase enviei um pagamento para o lugar errado.

Os modelos multimodais são brilhantes na essência e desleixados nos detalhes. Eles resumirão um documento perfeitamente e transporão um número sem perceber. Pois o que isso diz que eles são mágicos. Para copiar exatamente isso, eles são um risco.

A solução é dividir o trabalho. Deixe o modelo fazer a compreensão e depois faça com que o humano faça a verificação que importa. Agora eu mesmo leio os dígitos críticos e deixo o modelo cuidar de tudo ao seu redor.

Isto não é uma reclamação. É um limite. A ferramenta é um leitor, não um escriturário, e tratá-la como um escriturário é a forma como o dinheiro vai para a conta errada.

Use multimodal para o sentido, não para os detalhes. A essência é gratuita. A linha exata ainda depende de você, e fingir o contrário é como pequenos erros se tornam reais.