Agentes de IA no navegador: como operar com confiança

Um agente abre o portal do fornecedor, localiza um pedido, copia o prazo e atualiza o ERP. Na demonstração, tudo funciona. Na terça-feira seguinte, um banner cobre o botão, a tabela muda de posição e o campo “data prevista” passa a mostrar a data da última atualização. O agente conclui a sequência, mas grava a informação errada.

Agentes que enxergam a tela e operam mouse e teclado são atraentes porque alcançam sistemas sem API e tarefas que antes dependiam de uma pessoa. Essa flexibilidade, porém, cria uma pergunta operacional que a demo costuma esconder: o agente apenas executou cliques ou comprovou o resultado de negócio?

Este artigo apresenta o método TRILHO para escolher, etapa por etapa, entre API, automação determinística, agente visual e ação humana. A meta não é proibir o uso de interface. É colocá-lo no trecho certo do processo, com evidência, limite e rota de escape.

Por que agentes de interface entraram na pauta agora

O avanço recente é real. O relatório técnico do Qwen-UI-Agent, publicado em julho de 2026, reporta 79,5% no OSWorld-Verified e 73,6% no WebArena. Mas o mesmo sistema obtém 13,9% de sucesso binário no OSWorld-v2, um conjunto mais exigente, embora alcance 40% de progresso parcial. A comparação não diminui a tecnologia: mostra que o resultado depende muito do ambiente, da duração da tarefa e do critério usado para chamar algo de “concluído”.

Benchmarks recentes aproximaram a avaliação do trabalho empresarial. O SaaS-Bench reúne 106 tarefas em 23 sistemas SaaS de seis domínios profissionais. No estudo, até o melhor agente avaliado concluiu menos de 4% das tarefas de ponta a ponta. Os autores apontam dificuldades de planejamento, controle de estado, contexto entre aplicações e recuperação de erro.

Outro estudo, o WeaveBench, avalia 114 tarefas longas que combinam interface gráfica, terminal e código. A melhor taxa de aprovação foi 41,2%, e os pesquisadores observaram que olhar apenas para o artefato final pode superestimar o desempenho; trajetória, arquivos, registros e estado dos sistemas também precisam ser verificados.

Esses números são resultados de benchmarks, não SLAs universais para sua empresa. A leitura útil é outra: capacidade visual avançou, mas confiabilidade operacional precisa ser desenhada no processo. Um agente pode ser excelente para atravessar uma tela e ainda ser inadequado para confirmar um pagamento, alterar estoque ou prometer uma data.

Integração não é uma escolha única para o processo inteiro

“Usar agente” e “usar API” não são alternativas mutuamente exclusivas. Um mesmo fluxo pode receber uma solicitação em linguagem natural, consultar dados por API, usar uma automação determinística em um sistema legado, pedir ao agente visual que trate uma exceção de baixa consequência e reservar a confirmação para uma pessoa.

Em geral, há quatro trilhos:

API ou conector estruturado: troca campos e estados definidos diretamente entre sistemas. É preferível para volume alto, dados críticos e ações que precisam de confirmação inequívoca.
Automação determinística: segue seletores e regras predefinidas em uma interface estável. Serve para tarefa repetitiva, pouco ambígua e com variação conhecida.
Agente visual: interpreta a tela e decide o próximo passo. É útil quando há variação, navegação pouco estruturada ou exceções que exigem leitura contextual.
Ação humana: permanece quando a ambiguidade, a consequência ou a necessidade de julgamento superam a evidência disponível.

A arquitetura mais confiável costuma ser híbrida. Use raciocínio onde existe variação; use execução determinística onde a regra já é conhecida; use interface visual onde não há acesso estruturado; e preserve revisão humana onde o erro não é facilmente reversível.

Matriz rápida: volatilidade da interface × consequência do erro

Interface estável + consequência baixa: automação determinística costuma resolver com menor custo e variabilidade. Exemplo: baixar um relatório padronizado para conferência.
Interface estável + consequência alta: prefira API ou integração transacional, validação antes e depois da ação e identificador único. Exemplo: cadastrar pedido confirmado ou alterar condição de pagamento.
Interface volátil + consequência baixa: agente visual pode operar em ambiente isolado, com limite de tentativas e prova do resultado. Exemplo: pesquisar disponibilidade sem reservar.
Interface volátil + consequência alta: mantenha o agente como assistente, não como executor final. Ele prepara o caso; uma pessoa decide ou a empresa cria uma integração mais confiável.

Classifique cada etapa, não o processo pelo nome. “Atender cliente” inclui localizar cadastro, interpretar pedido, consultar disponibilidade, propor opção, aplicar política, registrar decisão e confirmar. Cada trecho pode ocupar um quadrante diferente.

Método TRILHO: seis decisões antes de liberar os cliques

T — Tarefa recortada e estado final

Descreva a tarefa com início, fim e fronteira. “Atualizar o sistema” é vago. “Localizar o pedido pelo número, ler a data prometida no portal, comparar com a data registrada e abrir uma pendência se houver divergência” é verificável.

Defina também o estado final no sistema, não apenas a última ação visível. Clicar em “salvar” não prova que o registro persistiu. Enviar uma mensagem não prova entrega. Preencher um formulário não prova que o pedido foi criado uma única vez.

R — Risco, reversibilidade e raio de impacto

Registre o que acontece quando o agente clica no elemento errado, lê um valor incorreto ou repete a ação. A mudança pode ser desfeita? Afeta um registro ou uma carteira inteira? Move dinheiro, estoque, agenda, dado sensível ou compromisso com cliente?

Quanto menor a reversibilidade e maior o raio de impacto, menor deve ser a dependência de interpretação visual. A etapa pode exigir dupla validação, limite de valor, lote pequeno, simulação ou aprovação humana.

I — Interface e caminho de integração

Antes de automatizar a tela, verifique se o sistema oferece API, webhook, exportação estruturada, integração nativa, acesso ao banco ou fila de eventos. A interface foi desenhada para pessoas; uma integração foi desenhada para sistemas. Isso não torna toda API automaticamente boa, mas reduz ambiguidades como posição, cor, sobreposição e texto truncado.

Quando a tela for o único caminho, registre resolução, navegador, idioma, permissões, tempo de carregamento, elementos dinâmicos, pop-ups, CAPTCHA, autenticação e versões conhecidas. Esses itens fazem parte da dependência operacional.

L — Lastro de evidência

Decida qual evidência comprova cada resultado: identificador retornado pelo sistema, status consultado novamente, valor antes e depois, captura de tela, log de ação, carimbo de horário ou conciliação com a fonte oficial. Evidência deve permitir que outra pessoa reconstrua o caso.

O UI-CUBE reforça essa diferença ao avaliar o estado real das aplicações. Seus resultados mostram uma queda forte entre interações simples e fluxos empresariais complexos. Para a operação, a lição é direta: trajetória plausível não substitui estado confirmado.

H — Handoff e modo degradado

Defina quando o agente deve parar: tela inesperada, campo ausente, valor fora de faixa, repetição, demora, conflito entre fontes ou baixa confiança. O handoff precisa carregar objetivo, passos executados, tela atual, dados lidos, divergência e ação ainda não realizada.

O modo degradado pode ser “somente leitura”, “preparar sem enviar”, “registrar em fila” ou “voltar ao processo manual”. Sem essa alternativa, uma pequena mudança visual vira indisponibilidade do processo inteiro.

O — Operação monitorada e mudança controlada

Acompanhe sucesso confirmado, progresso sem conclusão, intervenção humana, repetição, tempo por caso, custo, divergência de dados e falha por tipo de interface. Separe falha do modelo, do sistema, da rede, da credencial, da regra e do dado.

Faça testes sintéticos periódicos em uma conta segura. Mudou a tela, o navegador, a política ou o modelo? Rode regressão antes de ampliar o volume. A descrição técnica do Computer-Using Agent da OpenAI explica por que a interação visual funciona como um ciclo de captura de tela, raciocínio e ação. Cada volta desse ciclo é também um ponto possível de desvio que precisa de limite e observação.

Ficha mínima para cada etapa de interface

Uma planilha simples pode começar com estas colunas:

processo, etapa, sistema e perfil de acesso usado;
gatilho, entrada obrigatória e estado inicial esperado;
resultado de negócio e estado final verificável;
caminho atual: API, automação determinística, agente visual ou humano;
volatilidade da interface e mudanças conhecidas;
consequência, reversibilidade e raio de impacto;
fonte oficial dos dados lidos e gravados;
evidência de sucesso e regra contra duplicidade;
tempo limite, número de tentativas e condição de parada;
fila, responsável e SLA para exceções;
versão do fluxo e data do último teste;
taxa de sucesso confirmado e principal causa de falha.

Evite uma métrica única de “tarefas concluídas” declarada pelo próprio agente. Compare intenção, ação, estado final e consequência. Um fluxo que termina com mensagem de sucesso, mas cria dois pedidos, não teve 100% de sucesso.

Como aplicar nas verticais da V7

v7 Obras: o agente pode ler portais e reunir evidências de entrega; alteração de medição, aprovação ou compromisso de prazo deve usar estado confirmado e alçada técnica.
v7 Carteira: consultar um portal de cliente por interface pode ser aceitável; cadastrar pedido, desconto ou limite no ERP pede integração estruturada, validação e proteção contra duplicidade.
v7 Agro: o agente pode localizar disponibilidade e documentos em portais diferentes; recomendação técnica, reserva de produto ou condição excepcional permanece sob regra e responsável competente.
v7 Imob: pesquisar unidades e preparar opções tolera navegação assistida; bloquear unidade, registrar proposta ou confirmar valor exige fonte oficial atual e retorno inequívoco do sistema.
v7 Clínicas Retorno: localizar horários e preparar contato pode usar interface; alteração de agenda deve reconfirmar o status, evitar duplicidade e preservar decisões assistenciais fora do escopo do agente.
v7 Custom: em sistemas legados, use o agente visual como ponte controlada. Se a etapa ganha volume ou consequência, transforme o caminho provisório em integração mais estável.

Teste de prontidão em 15 perguntas

A tarefa tem começo, fim e resultado de negócio claros?
É possível verificar o estado final sem confiar na fala do agente?
Existe API, exportação ou integração estruturada não avaliada?
A tela muda com frequência, por perfil, resolução ou horário?
Pop-ups, banners, CAPTCHA ou sessão expirada foram testados?
O agente distingue dado ausente, zero, desatualizado e erro de carregamento?
Uma repetição pode duplicar pedido, mensagem, reserva ou pagamento?
A ação é reversível e o procedimento de reversão foi ensaiado?
Há limite de registros, valor, tempo e tentativas por execução?
Campos críticos são validados antes e depois da gravação?
A evidência fica fora da memória temporária da conversa?
O agente para diante de tela ou estado não reconhecido?
A fila humana recebe contexto suficiente para continuar?
Existe conta de teste e rotina de regressão após mudanças?
A métrica distingue conclusão confirmada de progresso parcial?

Se houver quatro ou mais respostas “não” ou “não sei”, mantenha a etapa em modo assistido. Corrija primeiro a verificabilidade, a duplicidade e a rota de exceção.

Piloto de 20 dias para um fluxo híbrido

Dias 1 a 4 — mapear: selecione uma tarefa frequente, decomponha em etapas e aplique a matriz volatilidade × consequência.
Dias 5 a 8 — escolher trilhos: use API onde houver estado estruturado; automação determinística no trecho estável; agente visual apenas onde a variação justificar; humano nos compromissos sensíveis.
Dias 9 a 12 — testar: execute casos normais e falhas: lentidão, pop-up, campo deslocado, dado truncado, sessão expirada, duplicidade, tela vazia e resposta contraditória.
Dias 13 a 16 — operar assistido: rode com volume limitado, revisão humana e evidência obrigatória para cada resultado.
Dias 17 a 20 — decidir: compare sucesso confirmado, intervenção, tempo, custo, consequência e manutenção com o processo anterior.

Amplie apenas o trecho que demonstrou estabilidade. Um bom piloto pode terminar com menos autonomia do que o imaginado e ainda assim gerar ROI: o agente prepara, confere e encaminha; a automação executa o previsível; a pessoa decide a exceção.

Sinais de alerta

a prova de sucesso é uma mensagem gerada pelo próprio agente;
o fluxo inteiro depende de coordenadas fixas na tela;
um clique errado pode afetar vários clientes e não há limite por lote;
ninguém sabe se o sistema oferece integração mais confiável;
o agente repete a ação depois de uma resposta lenta;
progresso parcial é contado como tarefa concluída;
a operação descobre mudanças de interface pelo erro de um cliente;
não existe modo somente leitura nem fila humana contextualizada.

O ponto de vista da V7 Agents

Operar uma tela como uma pessoa é uma capacidade poderosa, não uma garantia de processo. Quando a empresa entrega ao agente uma tarefa longa, sem estado final, evidência ou rota de escape, ela troca o trabalho manual visível por uma fragilidade difícil de auditar.

IA só gera ROI quando existe processo, dados, responsável, rotina de revisão e implantação operacional. O V7 IA Ready identifica quais etapas pedem integração estruturada, quais toleram interface visual e onde o julgamento humano deve permanecer. Os Agentes Verticais executam dentro desse desenho. A Operação Contínua acompanha mudanças, falhas e sucesso confirmado — porque “o agente clicou” nunca deve ser o indicador final.

Fontes consultadas

Seu processo precisa mesmo de cliques — ou de uma integração melhor?

O V7 IA Ready mapeia tarefas, sistemas, riscos e evidências para escolher o trilho certo e transformar IA em operação confiável.

Solicitar diagnóstico IA Ready Conhecer o V7 IA Ready

Seu agente de IA trabalha clicando na tela? Meça a fragilidade antes da produção