SLO para agentes de IA: orçamento de erro operacional

O agente que recebe pedidos ficou disponível o mês inteiro. Mesmo assim, cadastrou três itens na unidade errada, entregou oito pedidos depois do corte e mandou sete casos válidos para revisão humana. O painel técnico ficou verde; a operação perdeu prazo, margem e confiança.

Disponibilidade é necessária, mas não define sozinha um serviço de IA. Um agente pode responder rápido e falhar no resultado; pode acertar a decisão e não registrar a evidência; pode funcionar bem na média e concentrar erros justamente nos casos de maior consequência.

Este artigo apresenta o método ACORDO, uma forma prática de estabelecer indicadores, objetivos de nível de serviço e orçamento de erro para agentes. O objetivo não é prometer perfeição. É combinar, antes da falha, o que conta como bom, quanto desvio é tolerável e o que muda na operação quando o limite se aproxima.

Por que confiabilidade virou decisão de negócio em 2026

Em julho de 2026, a IBM Research publicou um estudo com 20 estudos de caso e 306 profissionais de 26 domínios. Confiabilidade — comportamento correto e consistente ao longo do tempo — apareceu como o principal desafio de desenvolvimento. O retrato de produção também foi mais controlado do que a ideia de agentes totalmente autônomos: 68% executavam no máximo dez passos antes de intervenção humana, e 74% dependiam principalmente de avaliação humana.

Em maio, o Gartner apontou a variabilidade dos modelos entre tarefas como um obstáculo à produção e recomendou tratar confiabilidade no nível do sistema: limitar escopo e autonomia, aplicar guardrails automáticos e monitorar por orçamentos de erro.

O NIST reforçou o movimento para avaliações adequadas ao contexto real. O rascunho do framework TEVV-Athlon, anunciado em agosto de 2026, propõe avaliações personalizadas aos objetivos da organização, aplicáveis também a sistemas agênticos. Em outra iniciativa, o instituto desenvolve probes que verificam saídas durante ou depois do fluxo e acumulam trilhas estruturadas de auditoria.

A leitura operacional é simples: não basta perguntar se o modelo é bom. É preciso definir se este serviço, neste processo, sob estas condições, entrega um nível aceitável de resultado.

SLI, SLO e SLA: três objetos diferentes

SLI — indicador de nível de serviço: a medida observada. Exemplo: percentual de pedidos elegíveis registrados corretamente e dentro do prazo.
SLO — objetivo de nível de serviço: o alvo interno para o indicador, com escopo e janela. Exemplo: pelo menos 96% em 28 dias.
SLA — acordo de nível de serviço: um compromisso com consequência explícita se o objetivo não for cumprido. Pode envolver cliente ou fornecedor, mas não é necessário para começar a gerir a operação.

A disciplina de SRE do Google popularizou a relação entre esses elementos e o orçamento de erro: se o objetivo é 96%, os 4% restantes formam o limite de falhas toleradas na janela. Para agentes, porém, é perigoso copiar apenas métricas de servidor. O evento “bom” precisa refletir a experiência e o efeito do processo.

Primeira regra: nunca coloque dano proibido dentro do orçamento

Orçamento de erro não é licença para cobrar a pessoa errada, expor dado pessoal, prescrever conduta clínica, aprovar pagamento fora da alçada ou alterar um contrato sem autorização. Ações de alta consequência precisam de bloqueios, verificação independente ou aprovação competente. Quando ocorrem, devem consumir uma política de incidente, não uma cota confortável de falhas.

O orçamento serve para desvios limitados, reversíveis e previamente classificados: atraso recuperável, encaminhamento desnecessário, sugestão rejeitada, necessidade de correção antes do envio ou falha técnica sem efeito externo. Misturar severidades em uma média permite que muitos acertos baratos escondam um erro grave.

Método ACORDO: seis decisões para um SLO operacional

A — Ação e resultado útil

Escolha um serviço, não “a IA inteira”. Defina a unidade: pedido registrado, lead qualificado, retorno agendado, alerta de obra revisado ou oportunidade comercial encaminhada. Depois descreva o resultado que o usuário do processo reconhece como concluído.

“O agente respondeu” não basta. Um pedido bom, por exemplo, pode exigir cliente e item corretos, quantidade e unidade válidas, preço conforme regra, gravação confirmada no ERP e protocolo devolvido ao canal.

C — Casos elegíveis e condições

Declare quais eventos entram no denominador e quais condições desviam para outro fluxo. Canal, horário, tipo de cliente, sistema disponível, idioma, faixa de valor, qualidade dos dados e versão da regra mudam a dificuldade.

Não melhore o número retirando silenciosamente os casos difíceis. Toda exclusão precisa de motivo, destino, responsável e métrica própria. Caso contrário, o SLO premia o agente por transferir trabalho ao humano.

O — Objetivos por dimensão

Use poucos objetivos que representem o serviço. Um conjunto inicial pode cobrir:

resultado aceito: caso concluído corretamente na primeira passagem;
prazo: resultado aceito antes do limite do negócio, não apenas resposta inicial rápida;
controle: ações com autorização, registro e evidência mínimos;
encaminhamento: exceção entregue ao papel correto, com contexto suficiente e dentro do prazo;
eficiência: custo e revisão humana por resultado aceito dentro da faixa planejada.

Evite criar dez metas que se anulam. Três ou quatro objetivos claros costumam orientar melhor a decisão do que um painel com dezenas de números sem consequência.

R — Regra de classificação e evidência

Escreva o teste que transforma uma execução em boa, ruim, excluída ou inconclusiva. Defina a fonte oficial do resultado, o momento da conferência e como corrigir classificação errada. Se o sucesso depende apenas do log do próprio agente, a medição é circular.

Use verificadores determinísticos quando possível: confirmação no ERP, correspondência de identificador, prazo registrado e reconciliação de valores. Amostras humanas e probes são úteis quando o critério exige julgamento. O NIST mostra uma direção relevante: verificadores com rubrica e fonte confiável podem produzir vereditos estruturados, mas também precisam ser validados.

D — Desvio permitido e velocidade de consumo

Calcule o orçamento por janela e acompanhe a velocidade com que ele é gasto. Em um exemplo ilustrativo, 1.000 casos elegíveis e SLO de 96% permitem até 40 casos ruins no período. Se 20 falhas aparecem nos dois primeiros dias, ainda restam 20, mas a velocidade indica que esperar o fechamento do mês é tarde demais.

Separe ao menos dois ritmos: consumo rápido, que exige contenção imediata, e consumo gradual, que pede investigação e melhoria. Defina também o que não entra no mesmo orçamento: um evento proibido ou de alta severidade pode desligar uma ação mesmo quando a taxa geral parece saudável.

O — Owner e consequência operacional

Associe cada faixa a uma decisão já autorizada. Exemplo: até 50% do orçamento, operação normal; entre 50% e 80%, investigar a principal classe de falha; acima de 80%, congelar expansão; orçamento esgotado, reduzir autonomia ou voltar ao modo assistido. Os percentuais são exemplos, não padrão universal.

Defina um dono do resultado, um responsável técnico pela medição e um papel capaz de mudar o modo operacional. Sem essa autoridade, o SLO vira só uma linha vermelha em um dashboard.

Contrato de SLO em 14 campos

nome do serviço e resultado esperado;
usuário ou processo atendido;
evento elegível e início da medição;
condições de inclusão e exclusão;
definição verificável de evento bom;
classes de falha e severidade;
fonte oficial de confirmação;
SLIs e fórmula de cada um;
metas e janela do SLO;
orçamento de erro por classe;
alertas por velocidade de consumo;
modo degradado e critério de retorno;
owners de negócio, operação e tecnologia;
ritual e data de revisão do contrato.

Exemplo prático: um agente que recebe pedidos

Considere uma distribuidora que aceita pedidos padronizados por WhatsApp. O SLO não deve ser “99% das mensagens respondidas”. Um contrato melhor poderia ser: entre pedidos elegíveis recebidos no horário comercial, 96% devem ser gravados corretamente no ERP, confirmados ao cliente e concluídos em até 12 minutos, medidos em janela móvel de 28 dias.

O evento bom exige confirmação no ERP e reconciliação de cliente, SKU, unidade e quantidade. Pedido ambíguo encaminhado corretamente não conta como falha de cadastro automático, mas entra em um SLO próprio de handoff. Pedido fora da alçada nunca pode ser aprovado para proteger a média. Ao consumir 80% do orçamento, novas categorias deixam de entrar; ao esgotá-lo, o agente volta a preparar o pedido para aprovação.

Como aplicar nas verticais da V7

v7 Obras: medir alertas que chegam ao responsável com evidência antes da janela de reação; não tratar foto recebida ou alerta gerado como resultado final.
v7 Carteira: separar contato realizado, pedido corretamente lançado, cobrança encaminhada e cliente reativado; cada serviço tem consequência e SLO próprios.
v7 Agro: medir recomendação comercial entregue no timing da cultura e validada contra estoque, região e regra vigente; caso sem dados mínimos deve seguir para triagem.
v7 Imob: combinar tempo de resposta com qualificação suficiente, disponibilidade confirmada e handoff aceito pelo corretor; resposta rápida sobre unidade indisponível é falha.
v7 Clínicas Retorno: definir SLO para contato administrativo, confirmação e encaminhamento, preservando restrições de acesso e decisões exclusivas da equipe competente.
v7 Custom: criar um contrato por processo interno — compras, cadastro, documentos ou atendimento — em vez de uma média única para todos os agentes.

Checklist de 15 perguntas para gestores

Qual serviço operacional estamos prometendo internamente?
Quem percebe se o serviço ficou bom ou ruim?
O denominador contém todos os casos elegíveis?
Para onde vão os casos excluídos?
O evento bom representa resultado ou apenas atividade?
Qual sistema confirma o efeito?
O prazo mede a necessidade do negócio?
Falhas graves estão separadas das reversíveis?
Existe alguma ação que nunca pode consumir orçamento?
A medição independe do relato do próprio agente?
O objetivo usa janela e volume suficientes?
Sabemos detectar consumo rápido antes do fechamento?
Qual autonomia muda em cada faixa?
Quem pode acionar o modo degradado?
Quando o contrato será revisto com dados reais?

Se as respostas 3, 5, 8, 10 e 14 forem vagas, a empresa ainda não tem um SLO operacional; tem apenas uma meta sem controle.

Piloto de 20 dias sem meta de vitrine

Dias 1 a 4: escolha um serviço e rotule uma amostra histórica com especialistas do processo.
Dias 5 a 8: escreva elegibilidade, evento bom, severidades, fonte oficial e prazo do negócio.
Dias 9 a 12: opere em modo assistido, meça baseline e verifique divergências entre log e efeito real.
Dias 13 a 16: proponha SLO provisório, orçamento por classe, alertas de consumo e ações por faixa.
Dias 17 a 20: simule pico de falha, acione modo degradado e ajuste o contrato antes de ampliar autonomia.

Não escolha o alvo apenas para refletir o desempenho atual nem imponha 100% sem analisar custo e risco. O alvo deve proteger a necessidade do usuário e permitir uma resposta operacional viável.

Sinais de alerta

uptime e latência são os únicos objetivos do agente;
encaminhar ao humano melhora artificialmente a taxa de sucesso;
todos os erros consomem o mesmo orçamento;
o denominador muda quando o resultado piora;
a confirmação vem apenas do log do agente;
o alerta dispara, mas não muda escopo, versão ou autonomia;
a média mensal esconde uma deterioração rápida;
o fornecedor define sozinho o nível de serviço do processo.

O ponto de vista da V7 Agents

Um agente confiável não é o que “nunca erra” em uma apresentação. É o que opera dentro de um contrato explícito, produz evidência, reconhece limites e muda de modo antes que desvios virem perda acumulada.

É por isso que IA só gera ROI quando existe processo, dados, responsável, rotina de revisão e implantação operacional. O V7 IA Ready define o serviço e o risco; os Agentes Verticais executam com regras do setor; e a Operação Contínua usa SLO e orçamento de erro para decidir quando expandir, corrigir ou reduzir autonomia.

Fontes consultadas

Seu agente tem meta — ou um acordo operacional?

O V7 IA Ready transforma um processo real em critérios de resultado, risco, evidência, SLO e modo degradado antes de ampliar a automação.

Solicitar diagnóstico IA Ready Conhecer o V7 IA Ready

Seu agente acerta quase sempre. Quanto erro sua operação suporta?