Governar, medir e evoluir|INEMA.CLUB-PRO

Aula 5 · 20 min

LOOP-R: o processo que aprende

A Hora atende novecentas conversas por semana e, na seguinte, trabalha igual. Cada execução gera evidência que ninguém usa. O LOOP-R fecha o ciclo: a execução vira evidência, a evidência vira hipótese, a hipótese vira teste, e só o que for comprovado entra na próxima versão. Nesta aula você roda um ciclo inteiro na Hora, de executar a promover.

Começar a aula
Quatro pessoas de pé diante de um quadro branco com setas desenhadas em círculo e notas adesivas coloridas ao longo do ciclo.

Nesta aula você vai

  1. 1Os sete passos do ciclo e quem faz cada um
  2. 2Separar o que é forte do que é ruído na evidência
  3. 3Escrever a hipótese com métrica, guarda-corpo e tolerância
  4. 4Testar contra a versão atual e decidir com um cartão de cinco linhas

Objetivo: rodar um ciclo LOOP-R completo, de executar a promover, com hipótese, teste contra a linha de base e decisão de quem não propôs.

01O ciclo LOOP-R

Sete passos e a volta. Clique em cada um para ver o que acontece na Horizonte.

Clique em cada bloco do diagrama para ver o que ele faz.

Ciclo da área Gestão de IA (§05). O curso e os vídeos do LOOP-R resumem o mesmo ciclo em cinco letras, com nove assistentes. Números da Horizonte: fictícios de estudo.

02As quatro decisões do ciclo

O ciclo tem sete passos, mas quatro deles pedem decisão de gestor.

1. Forte, moderada ou fraca

Nem toda observação merece teste. A régua do LOOP-R: com 90 casos ou mais, a evidência é forte e vira hipótese prioritária; de 30 a 89, moderada; abaixo de 30, fraca, e vai para uma lista de "observado, não testado" até juntar casos.

Reclamação isolada abre uma pergunta, não uma mudança. É a regra do método: feedback não altera o agente em produção.

Na Horizonte640 conversas de prazo: forte. "Terça vende mais", com 14 pedidos: fraca, vai para a lista.

03Vídeo: o método em cinco letras

Trilha 2 do curso LOOP-R, com o avatar e a voz do Nei. Assista quando puder: a aula não depende dele.

LOOP-R · Trilha 2: O método · 17 min 02 sPágina do vídeo com roteiro →

04Modelos para copiar

O registro do ciclo e o cartão de decisão. A aba ao lado mostra o ciclo da Hora preenchido.

Registro do ciclo LOOP-R
CICLO LOOP-R nº <0001> · processo <...> · agente <nome> · versão atual <vX.Y> · dono: <nome>

1. EXECUTAR   versão <vX.Y> de <data> a <data> · casos: <n>
2. OBSERVAR   <o que se contou, com N> · origem: <registro, amostra>
3. CRITICAR   o que falhou: <...> · força: [ ] forte (N >= 90) [ ] moderada (30-89) [ ] fraca (< 30)
              causa provável: <...>
4. PROPOR     SE <mudança> ENTÃO <métrica> vai de <...> para <...> PORQUE <...>
              SEM PIORAR: <guarda-corpo> (tolerância <...>, calculada como <...>) · críticos = 0 · custo <teto>
              vetadas: <ideias e o invariável que feriam>
5. EXPERIMENTAR candidata <vX.Y+1> · 30 casos: <c/a/i/CRÍTICO> · regressões <...>
              piloto: <como divide A e B> de <data> a <data> · mínimo por variante: <n> (conta: <...>)
6. VALIDAR    A: <resultado, N> · B: <resultado, N> · guarda-corpos: <...>
              veredito: [ ] B ganhou [ ] A segue [ ] amostra insuficiente
7. PROMOVER   proposto por <nome> · decidido por <outra pessoa> em <data>: [ ] aprovar [ ] rejeitar [ ] esperar
              versão anterior guardada em: <onde> · gatilho de volta: <aula 6>

REPETIR: aprendizado registrado em <onde> · próxima hipótese da fila: <...>
Cartão de decisão (5 linhas)
CICLO <nº> · hipótese: "<mudança em uma frase>"
Resultado:  <métrica> <A> → <B>  (N = <nA> vs <nB>, mínimo <n>)
Vigiado:    <guarda-corpo 1> <A> → <B> (limite <...>) · críticos <n> · 30 casos: regressões <n>
Custo:      <custo do teste e efeito no custo por resultado>
Decisão:    [aprovar]  [rejeitar]  [esperar mais dados]  · decide: <nome, não quem propôs> até <data>
Prompt · criticar a hipótese antes do teste
Você é o crítico de um ciclo de melhoria. Abaixo estão a evidência
observada e a hipótese proposta para um agente de IA. Não proponha outra
hipótese e não decida. Aponte:

1. Se a evidência tem N suficiente para ser forte, moderada ou fraca.
2. Se a hipótese diz a mudança, a métrica, o porquê e o que não pode piorar.
3. Se a tolerância do guarda-corpo foi escrita antes e como foi calculada.
4. Uma explicação alternativa para o problema que o teste deveria descartar.

Evidência:
"""<cole>"""
Hipótese:
"""<cole>"""
Simulação: exemplo ilustrativo

Ciclo nº 0001 · Hora v2.1 → v2.2 · Horizonte, empresa fictícia de estudo · semanas relativas

  1. Executar: v2.1, semanas 1 a 4, 3.600 conversas.
  2. Observar: 640 conversas de prazo ou rota; a Juliana assumiu 288 (45,0%). Nos 30 casos, 2 dos 4 incorretos são de prazo.
  3. Criticar: força forte (N = 640). Causa provável: falta a tabela de rotas e dias por cidade.
  4. Propor: SE a tabela (dono: Valdir, logística) entrar no pacote, ENTÃO assumidas de 45% para 25% ou menos. Sem piorar: promessas não cumpridas (tolerância 1,2 ponto), críticos 0, IA até R$ 0,35 por conversa. Vetada: frete grátis.
  5. Experimentar: 30 casos na v2.2: 24 corretos, 4 aceitáveis, 2 incorretos, 0 crítico, sem regressão. Piloto nas semanas 5 e 6, dias pares v2.1 e ímpares v2.2; mínimo de 89 por versão.
  6. Validar: assumidas A 148/330 (44,8%) × B 59/326 (18,1%); promessas não cumpridas A 4/330 (1,2%) × B 5/326 (1,5%), limite 2,4%; críticos 0 e 0. Veredito: B ganhou.
  7. Promover: proposta da Patrícia (observação da Juliana); o Carlos aprova na semana 7. A v2.1 fica guardada.

05Prática

O ciclo da Hora com os números desta aula; o seu ciclo, num processo seu.

1 · O ciclo 0001 da Hora

30 min

Sem olhar a aba de exemplo, preencha o registro do ciclo com os números da Horizonte desta aula, nos sete passos. Rode o prompt do crítico sobre a sua hipótese e responda à explicação alternativa que ele apontar. Termine com o cartão de cinco linhas.

Pronto quando: o registro tem os 7 passos preenchidos; a hipótese tem mudança, métrica com valor de partida e meta, porquê e guarda-corpo com tolerância; o mínimo por versão está escrito com a conta; o veredito é uma das três respostas; e o cartão nomeia quem decide, diferente de quem propôs.

2 · Um ciclo no seu processo

2 h no total

Use o painel da aula 4 para achar o problema com evidência forte ou moderada. Escreva a hipótese com guarda-corpo, rode a candidata nos seus 30 casos, faça o piloto com a quantidade que prova e leve o cartão a quem decide. Se a amostra não chegar ao mínimo, registre "amostra insuficiente" e o que fazer.

Pronto quando: o registro do seu ciclo tem os 7 passos com números e N; a candidata passou nos 30 casos sem crítico; o veredito foi dado por quem não propôs; e a decisão (aprovar, rejeitar ou esperar) está registrada com data.

06Teste rápido

5 perguntas. A explicação aparece depois da sua tentativa.

Pergunta 1 de 5

Um cliente importante reclamou que a Hora errou o prazo. O que o LOOP-R manda fazer?

07Resumo

Sete passosExecutar, observar, criticar, propor, experimentar, validar, promover. E repetir.
Força da evidênciaForte com 90 ou mais; fraca abaixo de 30 vai para a lista de observados.
Hipótese completaMudança, métrica, porquê e guarda-corpo com tolerância escrita antes.
Uma de trêsB ganhou, A segue ou amostra insuficiente. Decide quem não propôs.

08Para ir além: por que a empresa não melhora

Trilha 1 do curso LOOP-R (opcional).

LOOP-R · Trilha 1: Por que sua empresa não melhora · 17 min 50 sPágina do vídeo com roteiro →

09Para ir além: os assistentes do loop

Trilha 3 do curso LOOP-R (opcional): os nove assistentes, cada um com uma função.

LOOP-R · Trilha 3: Os assistentes do loop · 17 min 20 sPágina do vídeo com roteiro →

Para ir além

Curso LOOP-R: sua empresa que aprende sozinha (5 trilhas)LOOP-R: guia de uso e o exemplo rodadoLOOP-R em vídeo: as 5 trilhas com capítulos e legendas
Aula anteriorPróxima aula