Seu agente de IA está online. Mas está funcionando? Monte um painel operacional

O painel mostra 99,9% de disponibilidade. Mesmo assim, o comercial reclama que alguns leads recebem resposta tarde, a equipe financeira corrige cobranças geradas com contexto incompleto e o custo por atendimento sobe sem explicação. Tecnicamente, o agente está online. Operacionalmente, ninguém sabe se ele está concluindo o trabalho certo.

Essa diferença importa porque um agente não entrega apenas texto. Ele consulta fontes, escolhe caminhos, chama ferramentas, espera sistemas, tenta novamente, encaminha exceções e pode executar ações. Monitorar somente “subiu ou caiu” é como avaliar uma obra apenas pelo portão aberto.

O painel útil liga cada execução a um resultado de negócio, mostra onde a qualidade caiu e aciona um responsável antes que o desvio vire hábito. A proposta deste artigo é um modelo em cinco camadas que cabe em uma PME e pode começar em uma planilha ou ferramenta de BI.

Por que observabilidade virou assunto de gestão

Agentes estão saindo do experimento e entrando em fluxos reais, mas a infraestrutura e a disciplina operacional não avançam no mesmo ritmo. No relatório State of infrastructure in the agentic AI era 2026, do Google Cloud, 83% das organizações consultadas disseram precisar atualizar a infraestrutura para suportar sistemas autônomos em produção; quatro em cada cinco citaram segurança, governança ou MLOps entre os principais desafios. A pesquisa ouviu 1.402 líderes globais de TI e, por ser produzida por um fornecedor, deve ser lida como sinal de mercado — não como garantia de resultado.

Os padrões técnicos também estão amadurecendo. Em maio de 2026, o OpenTelemetry mostrou como suas convenções para IA generativa registram modelo usado, duração, consumo de tokens e a sequência de chamadas a ferramentas. Isso ajuda a reconstruir o caminho de uma execução e localizar custo ou lentidão. Mas telemetria técnica, sozinha, não responde se o pedido ficou correto, se o lead virou visita ou se a pendência de obra foi resolvida.

A orientação publicada pelo Microsoft Learn em 14 de julho de 2026 resume bem a mudança: medir resultados e riscos, não a quantidade de agentes publicados. Para a gestão, o monitoramento precisa unir sinais técnicos, qualidade e valor operacional.

Antes do painel, defina o que é uma execução concluída

“O agente respondeu” raramente é uma definição suficiente de sucesso. Uma execução só termina quando o resultado esperado do processo foi alcançado e registrado. Escreva uma frase verificável:

• fraco: o agente atendeu o cliente;
• verificável: o agente identificou a intenção, respondeu com uma fonte vigente, registrou o contato no CRM e definiu o próximo passo;
• fraco: o agente processou o pedido;
• verificável: o pedido foi extraído, validado contra cadastro e política comercial, aprovado quando necessário e gravado no ERP sem retrabalho.

Separe quatro estados finais: concluído corretamente, concluído com correção humana, encaminhado com contexto e abandonado ou perdido. Sem essa classificação, qualquer tentativa pode inflar o volume e esconder falhas.

O painel 5C: cinco camadas para enxergar a operação

Não comece com cinquenta gráficos. Comece com uma pergunta por camada, poucas métricas e um dono capaz de agir.

1. Conclusão: o processo chegou ao resultado?

• taxa de conclusão correta: casos concluídos sem correção divididos pelos casos elegíveis;
• tempo de ciclo ponta a ponta: do recebimento até o estado final, incluindo espera humana e de sistemas;
• SLA cumprido: percentual concluído dentro do prazo prometido;
• resultado do negócio: pedido aceito, visita marcada e comparecida, pendência encerrada, promessa de pagamento cumprida ou retorno agendado.

Escolha um resultado por fluxo. Se o agente agenda consultas, “mensagens enviadas” é atividade; “consultas confirmadas que compareceram” é resultado. Se ele acompanha leads, “respostas em menos de um minuto” pode ser um sinal inicial; “visitas úteis agendadas” mostra valor.

2. Correção: o resultado ficou bom na primeira vez?

• first-time-right: casos aprovados sem edição, reabertura ou retrabalho;
• taxa de revisão reprovada: amostras que violaram critério de conteúdo, regra ou fonte;
• aterramento: respostas factuais sustentadas pela fonte oficial esperada;
• recorrência: mesma causa de erro reaparecendo após uma correção.

Faça amostragem humana estratificada: casos comuns, novos tipos de entrada, decisões próximas ao limite e situações de maior impacto. Uma média geral pode parecer boa enquanto um segmento raro e crítico falha repetidamente.

A documentação de arquitetura do Google Cloud sobre aplicações de IA generativa em produção recomenda monitoramento ponta a ponta, linhagem entre componentes e avaliação contínua dos resultados. O motivo é simples: uma resposta errada pode nascer na fonte recuperada, na ferramenta, na regra, no modelo ou no dado de entrada. Sem o caminho completo, a equipe adivinha.

3. Caminho: onde o fluxo trava ou pede ajuda?

• taxa de handoff: casos transferidos a pessoas, separados por motivo;
• aging das exceções: tempo que cada caso permanece esperando decisão;
• abandono: casos que não chegaram a um estado final conhecido;
• tentativas e loops: repetições do mesmo passo, consulta ou mensagem;
• gargalo dominante: etapa responsável pela maior parcela do tempo de ciclo.

Uma alta taxa de handoff não é automaticamente ruim. Pode indicar prudência em uma operação nova ou sensível. O problema aparece quando a transferência chega sem evidência, cai no dono errado, envelhece sem SLA ou repete uma causa que o processo poderia prevenir.

4. Custo e capacidade: quanto custa concluir, não apenas executar?

• custo por conclusão correta: modelo, ferramentas, integrações e revisão humana divididos pelos casos concluídos corretamente;
• latência por etapa: modelo, busca, sistema externo, aprovação e fila;
• tokens e chamadas por caso: separados por tipo de tarefa, não apenas no total mensal;
• taxa de retentativa: execuções repetidas por falha temporária, resposta inválida ou timeout;
• capacidade útil: quantos resultados corretos o fluxo entrega por hora ou por dia.

Dividir o gasto pelo número de conversas costuma produzir uma falsa sensação de eficiência. Se metade das conversas exige correção, o denominador certo é a conclusão correta. Compare também por tipo de caso: uma cotação complexa pode custar mais que uma confirmação simples e ainda gerar mais valor.

5. Controle: é possível explicar, interromper e corrigir?

• trilha completa: percentual de casos com identidade, versão, fontes, ferramentas, decisões e resultado registrados;
• ações bloqueadas: tentativas fora de permissão ou política que o controle impediu;
• intervenções humanas: aprovações, correções, cancelamentos e desligamento manual;
• incidentes e tempo de resposta: da detecção até contenção, correção e verificação;
• mudanças sem avaliação: versões de prompt, modelo, fonte ou integração liberadas sem teste mínimo.

Registrar tudo também cria risco. Prompts, mensagens e resultados de ferramentas podem conter dados pessoais, comerciais ou clínicos. A orientação de observabilidade para sistemas de IA do Microsoft Learn recomenda contratos claros de dados para equilibrar investigação com minimização, retenção, privacidade, controle de acesso e criptografia. Portanto, defina o que registrar, quem pode consultar, por quanto tempo guardar e o que deve ser mascarado.

O registro mínimo que alimenta o painel

Cada caso deve gerar um registro que conecte negócio e tecnologia. Os campos mínimos são:

• identificador do caso e do fluxo;
• data, canal e tipo de solicitação;
• versão do agente, instrução, modelo e fontes consultadas;
• ferramentas chamadas, duração, tentativas e resultado de cada etapa;
• estado final e motivo de conclusão, handoff ou abandono;
• responsável humano e tempo de espera, quando houver;
• custo estimado da execução e da revisão;
• resultado de negócio e verificação de qualidade;
• dados sensíveis mascarados e política de retenção aplicada.

Não é necessário capturar o raciocínio interno do modelo para operar bem. Registre entradas permitidas, fontes, ações, decisões observáveis e resultados. O suficiente para reconstruir o caso sem transformar o log em uma cópia indiscriminada dos dados da empresa.

Alerta sem dono é só decoração

Para cada métrica crítica, escreva um contrato de alerta com sete campos:

1. sinal: qual métrica será observada;
2. limite: valor que exige atenção;
3. janela: período e volume mínimo para evitar ruído;
4. dono: papel responsável por receber e decidir;
5. ação inicial: investigar, reduzir autonomia, trocar fonte, pausar ou acionar contingência;
6. prazo: tempo máximo de resposta conforme impacto;
7. fechamento: evidência de correção e data de nova verificação.

Exemplo: “se a conclusão correta cair mais de cinco pontos percentuais contra a linha de base por dois dias e houver pelo menos 50 casos, o dono do processo revisa amostra e versões em até quatro horas; ações automáticas de maior impacto voltam para aprovação até a causa ser verificada”. O número é ilustrativo: cada operação deve calibrar seus próprios limites.

Ritmo de Operação Contínua

• diariamente, 15 minutos: alertas críticos, casos parados, incidentes e prioridade do dia;
• semanalmente, 45 minutos: tendência das cinco camadas, três maiores causas e responsáveis pelas correções;
• a cada mudança: rodar conjunto mínimo de testes antes de liberar nova versão de prompt, fonte, ferramenta ou modelo;
• mensalmente: comparar valor, custo, risco e capacidade; decidir se amplia, mantém, reduz ou pausa a autonomia;
• trimestralmente: revisar se o fluxo ainda vale o investimento e se dados, políticas e responsáveis continuam válidos.

O painel não substitui a reunião, e a reunião não substitui a decisão. Cada desvio recorrente deve terminar em uma destas saídas: corrigir dado, redesenhar processo, ajustar regra, melhorar agente, treinar equipe, reduzir autonomia ou aceitar explicitamente o risco.

Exemplos por setor

• v7 Obras: conclusão é pendência encerrada com evidência e responsável, não relatório gerado. Monitore aging por frente, alertas confirmados e recorrência da mesma restrição.
• v7 Carteira: acompanhe pedido gravado sem correção, cobrança com próxima ação válida, promessa cumprida e custo por caso resolvido — não apenas mensagens enviadas.
• v7 Agro: meça oportunidades com próximo passo no timing certo, atraso de follow-up e conversão por janela; separe ausência de dado de perda real.
• v7 Imob: monitore lead qualificado que chegou ao corretor com contexto, SLA de atendimento, visita útil e causas de devolução.
• v7 Clínicas Retorno: acompanhe confirmação, comparecimento, retorno dentro da regra definida, opt-out e qualquer caso que exija intervenção clínica ou administrativa.
• v7 Custom: escolha um resultado do processo, uma métrica de qualidade, uma de fluxo, uma de custo e uma de controle antes de liberar volume.

Checklist: seu agente pode entrar em Operação Contínua?

• o sucesso está definido como resultado verificável, não como atividade;
• há linha de base anterior à automação;
• casos concluídos, corrigidos, transferidos e abandonados são separados;
• resultado de negócio e telemetria técnica usam o mesmo identificador;
• a equipe consegue reconstruir fonte, ferramenta, versão e ação de um caso;
• existe amostragem de qualidade por risco e tipo de entrada;
• o custo é calculado por conclusão correta;
• cada alerta tem limite, janela, dono, ação e prazo;
• mudanças passam por avaliação antes da liberação;
• logs seguem regras de acesso, mascaramento e retenção;
• a rotina semanal transforma causas repetidas em melhoria;
• há autoridade para reduzir autonomia ou pausar o fluxo.

O ponto de vista da V7 Agents

Um agente em produção não é um projeto encerrado. É uma capacidade operacional que precisa de processo, dados, responsável, critério de qualidade, alerta e revisão. Sem isso, o painel técnico prova apenas que a tecnologia respondeu — não que a empresa recebeu valor.

A escada faz diferença: o V7 IA Ready define processo, linha de base, dados e riscos; o Agente Vertical executa dentro de limites claros; a Operação Contínua monitora, corrige e amplia o que comprovadamente funciona. É assim que IA sai da promessa e passa a fazer parte da rotina.

Fontes consultadas

• Google Cloud — 2026 State of infrastructure in the agentic AI era.
• OpenTelemetry — Inside the LLM Call: GenAI Observability with OpenTelemetry, 14 de maio de 2026.
• Google Cloud Architecture Center — Deploy and operate generative AI applications.
• Microsoft Learn — Observability for Generative AI and agentic AI systems, atualizado em 17 de março de 2026.
• Microsoft Learn — Monitor, measure, and report value, atualizado em 14 de julho de 2026.