Consultor de IA|INEMA.CLUB-PRO

Aula 6 · 18 min

Medir de verdade: 30, 60 e 90 dias

"O agente respondeu 4 mil mensagens" não diz se a empresa ganhou alguma coisa. Medir de verdade é comparar com o número de antes, na mesma régua, olhando também o que pode ter piorado. Em 30, 60 e 90 dias a pergunta muda: funciona, ficou estável, valeu o dinheiro?

Começar a aula
Tablet com gráfico de linha ao lado de duas folhas impressas com gráficos de barras, régua e lápis.

Nesta aula você vai

  1. 1Os três indicadores: resultado, operação e proteção
  2. 2Métrica de vaidade e a meta que ensina a trapacear
  3. 3O que se pergunta em 30, 60 e 90 dias
  4. 4ROI e payback em linguagem de dono

Objetivo: montar um painel de 3 indicadores com valor antes e depois e conduzir as revisões de 30, 60 e 90 dias contra a linha de base.

01O painel de três indicadores

Um de cada tipo, sempre com o valor de antes. Clique em cada um.

Contraexemplo do laboratório (F11): o painel da Horizonte mostra mensagens respondidas e conversas iniciadas, sem coluna de antes e sem venda nem reclamação.

Frequência semanal ou mensal, nunca diária: segunda tem acúmulo e sexta tem saída cedo.

02As três revisões

Cada revisão responde uma pergunta diferente.

1. 30 dias

Fim do piloto. O agente está sendo usado? A operação melhorou contra a linha de base? Alguma proteção piorou?

Corrija os atritos de uso: onde a equipe desiste, onde volta ao jeito antigo. Decisão: seguir, ajustar ou parar.

Sinal de alertaUso caindo na terceira semana: o processo não encaixou na rotina. Volte ao diagnóstico.

03Modelo: painel 30/60/90

Uma linha por indicador. Cole numa planilha e atualize na frequência combinada.

Painel 30/60/90
PAINEL · <empresa> · <processo> · linha de base medida em <data> por <quem>

| Tipo | Indicador | Como se mede (fonte, quem conta) | Antes | 30 dias | 60 dias | 90 dias | Meta |
|---|---|---|---|---|---|---|---|
| Resultado | <pedidos fechados / orçamentos> | <planilha de vendas, Patrícia> | <...> | | | | <...> |
| Operação | <mediana do tempo até o orçamento> | <50 pedidos, hora entrada x envio> | <...> | | | | <...> |
| Proteção | <orçamentos com preço errado> | <conferência semanal> | <...> | | | | <não piorar> |
| Adoção | <pessoas que usaram na semana> | <registro do agente> | 0 | | | | <...> |
| Custo | <custo por tarefa real (R$)> | <fatura + minutos de revisão> | — | | | | <<= calculado> |

REVISÃO 30: funciona? | REVISÃO 60: estável? | REVISÃO 90: valeu? -> [expandir] [manter] [desligar]
ROI e payback
Ganho mensal (R$)  = (valor antes - valor depois) x volume x custo unitário
                     (ex.: minutos economizados x pedidos x custo do minuto)
Custo mensal (R$)  = ferramenta + tokens + revisão humana + manutenção
Investimento (R$)  = diagnóstico + piloto + implantação (uma vez)

ROI no ano (%)     = (ganho mensal x 12 - custo mensal x 12 - investimento)
                     / (custo mensal x 12 + investimento) x 100
Payback (meses)    = investimento / (ganho mensal - custo mensal)

Use o ganho MEDIDO (painel), não o estimado. Se ganho mensal <= custo mensal, não há payback: o projeto não se paga.
Simulação: exemplo ilustrativo
  • Operação: mediana até o orçamento de 3 h 40 min → 50 min.
  • Proteção: orçamentos com preço errado de 8% → 6%.
  • Resultado: pedidos fechados sobre orçamentos de 31% → 35%.
  • Adoção: 5 de 6 vendedores usando toda semana.

Investimento R$ 18 mil; ganho medido R$ 9 mil/mês; custo R$ 2 mil/mês. Payback = 18 ÷ (9 − 2) ≈ 2,6 meses. ROI no ano = (108 − 24 − 18) ÷ (24 + 18) ≈ 157%.

Números ilustrativos, para treinar a conta.

04Prática: o painel da Horizonte

Parta do painel do laboratório, que tem a falha F11.

E1 · Diagnosticar o painel atual

15 min

No laboratório, abra o painel de indicadores da Horizonte. Liste o que ele mede, o que falta (linha de base, resultado, proteção) e por que ninguém sabe se o agente ajudou.

Pronto quando: você escreveu, em até 5 linhas, por que o painel atual não prova nada.

E2 · Painel de 3 indicadores

30 min

Monte o painel 30/60/90 para o piloto da aula 5: um indicador de resultado, um de operação e um de proteção, com a forma de medir e o valor de antes (real do laboratório ou simulado, marcado como simulação).

Pronto quando: o painel tem 3 indicadores com valor antes e depois preenchidos e uma linha dizendo quem mede e de onde vem o número.

E3 · ROI e payback

15 min

Com os números do seu painel e um investimento estimado, calcule ROI e payback e escreva a frase para o Carlos em linguagem de dono.

Pronto quando: a frase cabe em duas linhas, tem o valor investido, o ganho por mês e o prazo de retorno.

05Teste o que aprendeu

A explicação aparece depois da sua resposta.

Pergunta 1 de 4

O painel mostra "4.000 mensagens respondidas no mês". O que falta?competência

06Resumo

Três indicadores + linha de baseResultado, operação e proteção, sempre com o valor de antes e a mesma régua.
30, 60, 90Funciona? Ficou estável? Valeu o dinheiro? Depois: expandir, manter ou desligar.
Sem vaidadeMovimento não é resultado. Operação anda junto com proteção.

Fontes e para ir além

Gartner: só 17% das organizações com agentes em uso; IA agêntica no pico do hype (cópia no Internet Archive)LOOP-R: melhorar um processo com evidência e botão de voltarEmpresa-laboratório: o painel sem linha de base
Aula anteriorPróxima aula