O painel da Hora mostra atendimentos subindo e o Carlos conclui que ela está se pagando. O painel só mede volume: não diz se a Hora acertou, quanto custou cada pedido nem quanto trabalho de gente ainda precisa. Nesta aula você troca esse painel por cinco indicadores do agente, cada um com numerador, denominador, linha de base e um limite que dispara uma ação.
1O que falta em cada coluna de um painel de volume
2Os 5 indicadores do agente: qualidade, tempo, custo, autonomia e intervenção
3Linha de base quando o "antes" nunca foi medido
4Limites que disparam ação, e o indicador que melhora quando o agente piora
Objetivo: acompanhar o agente num painel de 5 indicadores com numerador, denominador, linha de base e limite, corrigindo o painel que só mostra volume.
01 · Cinco indicadores e um alarme
Cada indicador é uma fração com período e origem. O erro crítico fica fora de todos: é contado à parte. Clique em cada um.
Clique em cada bloco do diagrama para ver o que ele faz.
Indicadores do método Gestoria e da área Gestão de IA (§06). Na ferramenta Gestoria, os quadros da Visão geral trazem acerto estrito, erros críticos, trabalho autônomo e custo por caso, calculados sobre os casos do laboratório. Valores da Horizonte: fictícios de estudo.
02 · Do painel de volume ao painel do agente
O F11 do laboratório já foi corrigido no G2 com três indicadores do processo. Aqui o assunto é o agente.
1. O que cada coluna não mostra
O painel do laboratório tem quatro colunas. Atendimentos é volume: sobe com promoção, época do ano ou desconto demais. Pedidos fechados não tem o antes nem comparação. Satisfação média vem de um botão que cerca de 6% dos clientes respondem.
Tempo de resposta mede a velocidade da primeira mensagem, não do pedido. Nenhuma coluna diz se a Hora acertou, quanto custou nem quanto trabalho de gente ela gerou.
Teste de cada colunaEsse número muda se a Hora der um desconto errado? Se não muda, ele não serve para governar o agente.
2. Linha de base sem o antes
A coleta começou no mesmo dia em que a Hora entrou, em julho. O "antes da Hora" nunca foi medido e não dá para medir agora. O que dá: medir quatro semanas da versão atual e usar como linha de base contra a qual cada mudança será comparada.
Estimativas do antes (como os 8 a 12 minutos por pedido do G4) continuam estimativas e aparecem assim no painel, nunca como observadas.
Na HorizonteLinha de base: Hora v2.1, quatro semanas, 3.600 conversas e 680 pedidos concluídos. Todo valor do painel diz o período e o n.
3. Limite que dispara ação
Cada indicador ganha um limite e o que acontece quando ele é cruzado. Qualidade abaixo de 90% numa semana: a amostra dobra e a causa entra na revisão semanal. Um erro crítico: a ação volta ao amarelo na hora e abre um incidente.
Os limites são decisão de quem responde pela operação, olhando a linha de base. Escreva-os antes de precisar deles.
Na Horizontep95 do tempo acima de 6 h: olhar a fila de aprovação. Custo acima de R$ 7,50 no mês: revisar. Intervenção acima de 6 min por pedido: ver para onde foram as horas.
4. O indicador que engana
Se a meta for "subir a autonomia", o jeito mais rápido é a Hora parar de pedir aprovação. O número melhora e a operação piora. Por isso autonomia e intervenção só se leem ao lado da qualidade e dos críticos.
A Microsoft propôs, no Work Trend Index 2025, a métrica human-agent ratio: o equilíbrio entre a supervisão humana e a eficiência dos agentes. É proposta de fornecedor; o seu painel mede esse equilíbrio com os indicadores 4 e 5.
Pergunta para cada indicadorComo este número melhora sem a operação melhorar? Se a resposta é fácil, ele precisa de um par que o vigie.
03 · Modelos para copiar
O painel de uma página e a ficha de cada indicador. A aba ao lado mostra o da Hora.
Painel do agente (5 indicadores)
PAINEL DO AGENTE · <nome> v<...> · período <de> a <até> · dono do painel: <nome>
Linha de base: <versão>, <n semanas>, <casos> casos · origem dos dados: <sistemas>
| # | Indicador | Numerador ÷ denominador | Linha de base (n) | Esta semana | Limite → ação | Dono |
|---|---|---|---|---|---|---|
| 1 | Qualidade | corretas ÷ julgadas (amostra de <n>/semana) | <%> (<n>) | <%> | < <%>: <ação> | <nome> |
| | Erros críticos | contagem, fora de qualquer média | <n> | <n> | 1: <ação na hora> | <nome> |
| 2 | Tempo | mediana e p95 de <fim − início>, casos concluídos | <...> | <...> | p95 > <...>: <ação> | <nome> |
| 3 | Custo por resultado | custo total do processo ÷ casos concluídos | R$ <...> | R$ <...> | > R$ <...>: <ação> | <nome> |
| 4 | Autonomia | concluídos sem intervenção ÷ concluídos | <%> | <%> | só com 1 e críticos estáveis | <nome> |
| 5 | Intervenção humana | minutos de gente ÷ casos concluídos | <min> | <min> | > <min>: <ação> | <nome> |
FORA DO PAINEL (volume, não resultado): <atendimentos, mensagens, satisfação com baixa resposta>
ESTIMADO, NÃO OBSERVADO: <valores do "antes", com a origem da estimativa>
Ficha de indicador
INDICADOR <n> · <nome> · agente <nome> · dono: <nome>
Pergunta de gestão: <o que queremos saber>
Numerador: <o que se conta> · Denominador: <o universo>
Período: <semana> · comparar com: <linha de base, mesmo tipo de período>
Origem: <sistema, campo, amostra> · quem extrai: <nome>
Linha de base: <valor> · [ ] observado (n = <...>, de <data> a <data>) [ ] estimado (fonte: <...>)
Limite: <valor> → ação: <o que acontece, quem faz, em quanto tempo>
Par que vigia: <indicador que denuncia se este melhorar do jeito errado>
Não confundir com: <o que este número não mostra>
Prompt · como este indicador engana
Você é analista de indicadores. Abaixo está o painel de um agente de IA
com 5 indicadores. Não sugira indicadores novos. Para cada um:
1. Diga se o denominador está claro e se pode mudar sozinho e enganar
a comparação.
2. Dê um jeito de o número melhorar sem a operação melhorar.
3. Diga qual outro indicador do painel denunciaria esse jeito.
4. Aponte se algum erro crítico pode estar escondido numa média.
Painel:
"""<cole>"""
Simulação: exemplo ilustrativo
Hora v2.1 · linha de base de 4 semanas · 3.600 conversas, 680 pedidos concluídos · Horizonte, empresa fictícia de estudo
Indicador
Fração
Linha de base
Limite → ação
1 Qualidade
corretas ÷ julgadas (40 sorteadas por semana)
148 ÷ 160 = 92,5%
< 90%: amostra dobra
Erros críticos
contagem
0
1: ação volta ao amarelo + incidente
2 Tempo
mediana e p95, contato → pedido confirmado
18 min · 4 h 40 min
p95 > 6 h: fila de aprovação
3 Custo
custo do processo ÷ pedidos concluídos
4.542 ÷ 680 = R$ 6,68
> R$ 7,50: revisar
4 Autonomia
sem intervenção ÷ concluídos
510 ÷ 680 = 75,0%
sem meta sozinho
5 Intervenção
minutos de gente ÷ concluídos
2.988 ÷ 680 = 4,4 min
> 6 min: ver onde
Fora do painel: atendimentos (volume) e satisfação média (cerca de 6% respondem). Estimado: tempo de gente antes da Hora (8 a 12 min por pedido, G4).
Coluna
O que mede
O que não mostra
Atendimentos
volume de conversas
se a conversa virou pedido certo
Pedidos fechados
pedidos por semana
o antes, o desconto dado, os pedidos corrigidos
Satisfação média
estrelas de cerca de 6% dos clientes
a opinião dos outros 94%
Tempo de resposta
segundos até a 1ª mensagem
quanto o pedido levou até ser confirmado
Dados do indicadores.json do laboratório (fictícios): de 702 atendimentos e 141 pedidos (semana de 01/09) a 901 e 168 (semana de 13/10).
Indicador sem denominador. "12 conversas assumidas" não diz nada sem o total.
Crítico na média. O erro que custa dinheiro some dentro de 99%.
Média de tempo. Um pedido travado puxa a média; use mediana e p95.
Autonomia como meta. Sobe quando o agente para de pedir ajuda.
Estimativa como observado. O antes que ninguém mediu aparece como estimado, sempre.
04 · Prática
O painel da Hora para treinar; o do seu agente para valer.
1 · O painel da Hora
30 min
Abra o painel do laboratório e escreva, para cada uma das 4 colunas, o que ela mede e o que ela não mostra. Depois monte o painel da Hora com o modelo, usando os números da linha de base desta aula, e preencha a ficha de indicador do número 4 (autonomia) com o par que o vigia.
Pronto quando: as 4 colunas do painel do lab têm "mede" e "não mostra"; o painel tem os 5 indicadores com numerador, denominador, linha de base com n, limite com ação e dono; os erros críticos aparecem fora de qualquer porcentagem; e a ficha da autonomia diz qual indicador a vigia.
2 · O painel do seu agente
45 min
Monte o painel do seu agente com os 5 indicadores. Escreva onde sai cada número e quem extrai. Comece a coleta de 4 semanas da linha de base, sem mudar nada no agente nesse período, e marque como estimado tudo o que vier de antes.
Pronto quando: o painel está salvo com as 5 fichas; cada valor de hoje está marcado como observado (com n e período) ou estimado (com a fonte); a data em que as 4 semanas terminam está no calendário; e o prompt "como este indicador engana" foi rodado e respondido.
A meta do trimestre é subir a autonomia da Hora de 75% para 90%. Qual o risco?
Correto
É o indicador que melhora quando o agente piora. Ele precisa de um par que o vigie: qualidade na amostra e erros críticos.
Não é essa
É o indicador que melhora quando o agente piora. Ele precisa de um par que o vigie: qualidade na amostra e erros críticos.Rever: Cinco indicadores e um alarme
Pergunta 3 de 5
Qual destas é uma linha de base honesta para a Hora?
Correto
O passado que não foi medido não se inventa. A linha de base passa a ser o presente medido, contra o qual cada mudança será comparada.
Por que usar mediana e p95 no tempo, em vez da média?
Correto
A mediana mostra o caso típico e o p95 não deixa os travados sumirem. Os pedidos que esperam aprovação ficam no p95.
Não é essa
A mediana mostra o caso típico e o p95 não deixa os travados sumirem. Os pedidos que esperam aprovação ficam no p95.Rever: Cinco indicadores e um alarme
Pergunta 5 de 5
A amostra da semana teve 39 corretas em 40 e um erro crítico. Como fica o painel?
Correto
O crítico é contado à parte e tem ação própria: a ação volta ao amarelo e abre incidente. A porcentagem alta não cancela o alarme.
Não é essa
O crítico é contado à parte e tem ação própria: a ação volta ao amarelo e abre incidente. A porcentagem alta não cancela o alarme.Rever: Modelos para copiar
Teste concluído
Você acertou {a} de {n}. Acertando todas, a aula é marcada como concluída.
Escolha uma alternativa. A explicação aparece depois da sua tentativa.
06 · Resumo
Cinco fraçõesQualidade, tempo, custo, autonomia e intervenção, cada uma com denominador.
Crítico à parteContado fora das médias, com ação própria.
Linha de baseQuatro semanas medidas agora; o antes, só como estimado.
Limite e parTodo indicador tem limite com ação e outro que o vigia.
