Gobernar, medir y evolucionar|INEMA.CLUB-PRO

Clase 5 · 20 min

LOOP-R: el proceso que aprende

Hora atiende novecientas conversaciones por semana y, en la siguiente, trabaja igual. Cada ejecución genera evidencia que nadie usa. El LOOP-R cierra el ciclo: la ejecución se vuelve evidencia, la evidencia se vuelve hipótesis, la hipótesis se vuelve prueba, y solo lo que se compruebe entra en la próxima versión. En esta clase corres un ciclo completo en Hora, de ejecutar a promover.

Comenzar la lección
Cuatro personas de pie frente a una pizarra blanca con flechas dibujadas en círculo y notas adhesivas de colores a lo largo del ciclo.

En esta lección vas a

  1. 1Los siete pasos del ciclo y quién hace cada uno
  2. 2Separar lo que es fuerte de lo que es ruido en la evidencia
  3. 3Escribir la hipótesis con métrica, barrera de protección y tolerancia
  4. 4Probar contra la versión actual y decidir con una tarjeta de cinco líneas

Objetivo: ejecutar un ciclo LOOP-R completo, de ejecutar a promover, con hipótesis, prueba contra la línea de base y decisión de quien no la propuso.

01El ciclo LOOP-R

Siete pasos y la vuelta. Haz clic en cada uno para ver qué pasa en Horizonte.

Haz clic en cada bloque del diagrama para ver qué hace.

Ciclo del área Gestión de IA (§05). El curso y los videos del LOOP-R resumen el mismo ciclo en cinco letras, con nueve asistentes. Números de Horizonte: ficticios de estudio.

02Las cuatro decisiones del ciclo

El ciclo tiene siete pasos, pero cuatro de ellos piden una decisión de gestor.

1. Fuerte, moderada o débil

No toda observación merece una prueba. La regla del LOOP-R: con 90 casos o más, la evidencia es fuerte y se vuelve hipótesis prioritaria; de 30 a 89, moderada; por debajo de 30, débil, y va a una lista de "observado, no probado" hasta juntar casos.

Una queja aislada abre una pregunta, no un cambio. Es la regla del método: el feedback no altera el agente en producción.

En Horizonte640 conversaciones de plazo: fuerte. "El martes vende más", con 14 pedidos: débil, va a la lista.

03Video: el método en cinco letras

Ruta 2 del curso LOOP-R, con el avatar y la voz de Nei. Míralo cuando puedas: la clase no depende de él.

LOOP-R · Ruta 2: El método · 15 min 43 sPágina del video con guion →

04Modelos para copiar

El registro del ciclo y la tarjeta de decisión. La pestaña de al lado muestra el ciclo de Hora completado.

Registro del ciclo LOOP-R
CICLO LOOP-R nº <0001> · proceso <...> · agente <nombre> · versión actual <vX.Y> · responsable: <nombre>

1. EJECUTAR   versión <vX.Y> de <fecha> a <fecha> · casos: <n>
2. OBSERVAR   <lo que se contó, con N> · origen: <registro, muestra>
3. CRITICAR   lo que falló: <...> · fuerza: [ ] fuerte (N >= 90) [ ] moderada (30-89) [ ] débil (< 30)
              causa probable: <...>
4. PROPONER   SI <cambio> ENTONCES <métrica> pasa de <...> a <...> PORQUE <...>
              SIN EMPEORAR: <barrera de protección> (tolerancia <...>, calculada como <...>) · críticos = 0 · costo <tope>
              vetadas: <ideas y el invariable que rompían>
5. EXPERIMENTAR candidata <vX.Y+1> · 30 casos: <c/a/i/CRÍTICO> · regresiones <...>
              piloto: <cómo se dividen A y B> de <fecha> a <fecha> · mínimo por variante: <n> (cuenta: <...>)
6. VALIDAR    A: <resultado, N> · B: <resultado, N> · barreras de protección: <...>
              veredicto: [ ] B ganó [ ] A sigue [ ] muestra insuficiente
7. PROMOVER   propuesto por <nombre> · decidido por <otra persona> el <fecha>: [ ] aprobar [ ] rechazar [ ] esperar
              versión anterior guardada en: <dónde> · disparador de vuelta: <clase 6>

REPETIR: aprendizaje registrado en <dónde> · próxima hipótesis de la cola: <...>
Tarjeta de decisión (5 líneas)
CICLO <nº> · hipótesis: "<cambio en una frase>"
Resultado:  <métrica> <A> → <B>  (N = <nA> vs <nB>, mínimo <n>)
Vigilado:   <barrera de protección 1> <A> → <B> (límite <...>) · críticos <n> · 30 casos: regresiones <n>
Costo:      <costo de la prueba y efecto en el costo por resultado>
Decisión:   [aprobar]  [rechazar]  [esperar más datos]  · decide: <nombre, no quien propuso> hasta <fecha>
Prompt · criticar la hipótesis antes de la prueba
Eres el crítico de un ciclo de mejora. Abajo están la evidencia
observada y la hipótesis propuesta para un agente de IA. No propongas otra
hipótesis y no decidas. Señala:

1. Si la evidencia tiene N suficiente para ser fuerte, moderada o débil.
2. Si la hipótesis dice el cambio, la métrica, el porqué y lo que no puede empeorar.
3. Si la tolerancia de la barrera de protección se escribió antes y cómo se calculó.
4. Una explicación alternativa para el problema que la prueba debería descartar.

Evidencia:
"""<pega>"""
Hipótesis:
"""<pega>"""
Simulación: ejemplo ilustrativo

Ciclo nº 0001 · Hora v2.1 → v2.2 · Horizonte, empresa ficticia de estudio · semanas relativas

  1. Ejecutar: v2.1, semanas 1 a 4, 3.600 conversaciones.
  2. Observar: 640 conversaciones de plazo o ruta; Juliana asumió 288 (45,0%). En los 30 casos, 2 de los 4 incorrectos son de plazo.
  3. Criticar: fuerza fuerte (N = 640). Causa probable: falta la tabla de rutas y días por ciudad.
  4. Proponer: SI la tabla (responsable: Valdir, logística) entra en el paquete, ENTONCES asumidas de 45% a 25% o menos. Sin empeorar: promesas incumplidas (tolerancia 1,2 puntos), críticos 0, IA hasta R$ 0,35 por conversación. Vetada: envío gratis.
  5. Experimentar: 30 casos en la v2.2: 24 correctos, 4 aceptables, 2 incorrectos, 0 crítico, sin regresión. Piloto en las semanas 5 y 6, días pares v2.1 e impares v2.2; mínimo de 89 por versión.
  6. Validar: asumidas A 148/330 (44,8%) × B 59/326 (18,1%); promesas incumplidas A 4/330 (1,2%) × B 5/326 (1,5%), límite 2,4%; críticos 0 y 0. Veredicto: B ganó.
  7. Promover: propuesta de Patrícia (observación de Juliana); Carlos aprueba en la semana 7. La v2.1 queda guardada.

05Práctica

El ciclo de Hora con los números de esta clase; tu ciclo, en un proceso tuyo.

1 · El ciclo 0001 de Hora

30 min

Sin mirar la pestaña de ejemplo, completa el registro del ciclo con los números de Horizonte de esta clase, en los siete pasos. Ejecuta el prompt del crítico sobre tu hipótesis y responde a la explicación alternativa que señale. Termina con la tarjeta de cinco líneas.

Listo cuando: el registro tiene los 7 pasos completados; la hipótesis tiene cambio, métrica con valor de partida y meta, porqué y barrera de protección con tolerancia; el mínimo por versión está escrito con la cuenta; el veredicto es una de las tres respuestas; y la tarjeta nombra a quien decide, distinto de quien propuso.

2 · Un ciclo en tu proceso

2 h en total

Usa el panel de la clase 4 para encontrar el problema con evidencia fuerte o moderada. Escribe la hipótesis con barrera de protección, ejecuta la candidata en tus 30 casos, haz el piloto con la cantidad que prueba y lleva la tarjeta a quien decide. Si la muestra no llega al mínimo, registra "muestra insuficiente" y qué hacer.

Listo cuando: el registro de tu ciclo tiene los 7 pasos con números y N; la candidata pasó los 30 casos sin crítico; el veredicto lo dio quien no propuso; y la decisión (aprobar, rechazar o esperar) está registrada con fecha.

06Prueba rápida

5 preguntas. La explicación aparece después de tu intento.

Pregunta 1 de 5

Un cliente importante se quejó de que Hora se equivocó con el plazo. ¿Qué manda hacer el LOOP-R?

07Resumen

Siete pasosEjecutar, observar, criticar, proponer, experimentar, validar, promover. Y repetir.
Fuerza de la evidenciaFuerte con 90 o más; débil por debajo de 30 va a la lista de observados.
Hipótesis completaCambio, métrica, porqué y barrera de protección con tolerancia escrita antes.
Una de tresB ganó, A sigue o muestra insuficiente. Decide quien no propuso.

08Para ir más allá: por qué la empresa no mejora

Ruta 1 del curso LOOP-R (opcional).

LOOP-R · Ruta 1: Por qué tu empresa no mejora · 16 min 16 sPágina del video con guion →

09Para ir más allá: los asistentes del loop

Ruta 3 del curso LOOP-R (opcional): los nueve asistentes, cada uno con una función.

LOOP-R · Ruta 3: Los asistentes del loop · 15 min 39 sPágina del video con guion →

Para ir más allá

Curso LOOP-R: tu empresa que aprende sola (5 rutas)LOOP-R: guía de uso y el ejemplo en marchaLOOP-R en video: las 5 rutas con capítulos y subtítulos
Clase anteriorPróxima clase