El panel de Hora muestra atenciones en aumento y Carlos concluye que se está pagando sola. El panel solo mide volumen: no dice si Hora acertó, cuánto costó cada pedido ni cuánto trabajo de personas aún se necesita. En esta clase cambias ese panel por cinco indicadores del agente, cada uno con numerador, denominador, línea de base y un límite que dispara una acción.
2Los 5 indicadores del agente: calidad, tiempo, costo, autonomía e intervención
3Línea de base cuando el "antes" nunca se midió
4Límites que disparan una acción, y el indicador que mejora cuando el agente empeora
Objetivo: seguir al agente en un panel de 5 indicadores con numerador, denominador, línea de base y límite, corrigiendo el panel que solo muestra volumen.
01 · Cinco indicadores y una alarma
Cada indicador es una fracción con período y origen. El error crítico queda fuera de todos: se cuenta aparte. Haz clic en cada uno.
Haz clic en cada bloque del diagrama para ver qué hace.
Indicadores del método Gestoria y del área Gestión de IA (§06). En la herramienta Gestoria, los cuadros de la Visión general muestran acierto estricto, errores críticos, trabajo autónomo y costo por caso, calculados sobre los casos del laboratorio. Valores de Horizonte: ficticios de estudio.
02 · Del panel de volumen al panel del agente
El F11 del laboratorio ya se corrigió en el G2 con tres indicadores del proceso. Aquí el tema es el agente.
1. Lo que cada columna no muestra
El panel del laboratorio tiene cuatro columnas. Atendimentos es volumen: sube con promociones, con la época del año o con demasiado descuento. Pedidos cerrados no tiene el antes ni comparación. Satisfacción media viene de un botón que responden cerca del 6% de los clientes.
Tiempo de respuesta mide la velocidad del primer mensaje, no la del pedido. Ninguna columna dice si Hora acertó, cuánto costó ni cuánto trabajo de personas generó.
Prueba de cada columna¿Este número cambia si Hora da un descuento equivocado? Si no cambia, no sirve para gobernar al agente.
2. Línea de base sin el antes
La recolección empezó el mismo día en que Hora entró, en julio. El "antes de Hora" nunca se midió y no se puede medir ahora. Lo que sí se puede: medir cuatro semanas de la versión actual y usarlas como línea de base contra la cual se compara cada cambio.
Las estimaciones del antes (como los 8 a 12 minutos por pedido del G4) siguen siendo estimaciones y aparecen así en el panel, nunca como observadas.
En HorizonteLínea de base: Hora v2.1, cuatro semanas, 3.600 conversaciones y 680 pedidos concluidos. Todo valor del panel indica el período y el n.
3. Límite que dispara acción
Cada indicador recibe un límite y lo que ocurre cuando se cruza. Calidad por debajo del 90% en una semana: la muestra se duplica y la causa entra en la revisión semanal. Un error crítico: la acción vuelve a amarillo de inmediato y se abre un incidente.
Los límites son decisión de quien responde por la operación, mirando la línea de base. Escríbelos antes de necesitarlos.
En Horizontep95 del tiempo por encima de 6 h: revisar la cola de aprobación. Costo por encima de R$ 7,50 en el mes: revisar. Intervención por encima de 6 min por pedido: ver adónde fueron las horas.
4. El indicador que engaña
Si la meta es "subir la autonomía", la forma más rápida es que Hora deje de pedir aprobación. El número mejora y la operación empeora. Por eso la autonomía y la intervención solo se leen junto a la calidad y los críticos.
Microsoft propuso, en el Work Trend Index 2025, la métrica human-agent ratio: el equilibrio entre la supervisión humana y la eficiencia de los agentes. Es una propuesta de proveedor; tu panel mide ese equilibrio con los indicadores 4 y 5.
Pregunta para cada indicador¿Cómo mejora este número sin que la operación mejore? Si la respuesta es fácil, necesita un par que lo vigile.
03 · Modelos para copiar
El panel de una página y la ficha de cada indicador. La pestaña de al lado muestra el de Hora.
Panel del agente (5 indicadores)
PANEL DEL AGENTE · <nombre> v<...> · período <de> a <hasta> · dueño del panel: <nombre>
Línea de base: <versión>, <n semanas>, <casos> casos · origen de los datos: <sistemas>
| # | Indicador | Numerador ÷ denominador | Línea de base (n) | Esta semana | Límite → acción | Dueño |
|---|---|---|---|---|---|---|
| 1 | Calidad | correctas ÷ juzgadas (muestra de <n>/semana) | <%> (<n>) | <%> | < <%>: <acción> | <nombre> |
| | Errores críticos | conteo, fuera de cualquier promedio | <n> | <n> | 1: <acción de inmediato> | <nombre> |
| 2 | Tiempo | mediana y p95 de <fin − inicio>, casos concluidos | <...> | <...> | p95 > <...>: <acción> | <nombre> |
| 3 | Costo por resultado | costo total del proceso ÷ casos concluidos | R$ <...> | R$ <...> | > R$ <...>: <acción> | <nombre> |
| 4 | Autonomía | concluidos sin intervención ÷ concluidos | <%> | <%> | solo con 1 y críticos estables | <nombre> |
| 5 | Intervención humana | minutos de personas ÷ casos concluidos | <min> | <min> | > <min>: <acción> | <nombre> |
FUERA DEL PANEL (volumen, no resultado): <atenciones, mensajes, satisfacción con baja respuesta>
ESTIMADO, NO OBSERVADO: <valores del "antes", con el origen de la estimación>
Ficha de indicador
INDICADOR <n> · <nombre> · agente <nombre> · dueño: <nombre>
Pregunta de gestión: <qué queremos saber>
Numerador: <qué se cuenta> · Denominador: <el universo>
Período: <semana> · comparar con: <línea de base, mismo tipo de período>
Origen: <sistema, campo, muestra> · quién extrae: <nombre>
Línea de base: <valor> · [ ] observado (n = <...>, de <fecha> a <fecha>) [ ] estimado (fuente: <...>)
Límite: <valor> → acción: <qué ocurre, quién la hace, en cuánto tiempo>
Par que vigila: <indicador que delata si este mejora de la forma equivocada>
No confundir con: <lo que este número no muestra>
Prompt · cómo engaña este indicador
Eres analista de indicadores. Abajo está el panel de un agente de IA
con 5 indicadores. No sugieras indicadores nuevos. Para cada uno:
1. Di si el denominador está claro y si puede cambiar solo y engañar
la comparación.
2. Da una forma en que el número mejore sin que la operación mejore.
3. Di qué otro indicador del panel delataría esa forma.
4. Señala si algún error crítico puede estar escondido en un promedio.
Panel:
"""<pega>"""
Simulación: ejemplo ilustrativo
Hora v2.1 · línea de base de 4 semanas · 3.600 conversaciones, 680 pedidos concluidos · Horizonte, empresa ficticia de estudio
Indicador
Fracción
Línea de base
Límite → acción
1 Calidad
correctas ÷ juzgadas (40 sorteadas por semana)
148 ÷ 160 = 92,5%
< 90%: la muestra se duplica
Errores críticos
conteo
0
1: la acción vuelve a amarillo + incidente
2 Tiempo
mediana y p95, contacto → pedido confirmado
18 min · 4 h 40 min
p95 > 6 h: cola de aprobación
3 Costo
costo del proceso ÷ pedidos concluidos
4.542 ÷ 680 = R$ 6,68
> R$ 7,50: revisar
4 Autonomía
sin intervención ÷ concluidos
510 ÷ 680 = 75,0%
sin meta por sí sola
5 Intervención
minutos de personas ÷ concluidos
2.988 ÷ 680 = 4,4 min
> 6 min: ver dónde
Fuera del panel: atenciones (volumen) y satisfacción media (responde cerca del 6%). Estimado: tiempo de personas antes de Hora (8 a 12 min por pedido, G4).
Columna
Qué mide
Qué no muestra
Atendimentos
volumen de conversaciones
si la conversación se convirtió en un pedido correcto
Pedidos cerrados
pedidos por semana
el antes, el descuento dado, los pedidos corregidos
Satisfacción media
estrellas de cerca del 6% de los clientes
la opinión del otro 94%
Tiempo de respuesta
segundos hasta el 1.er mensaje
cuánto tardó el pedido en confirmarse
Datos del indicadores.json del laboratorio (ficticios): de 702 atenciones y 141 pedidos (semana del 01/09) a 901 y 168 (semana del 13/10).
Indicador sin denominador. "12 conversaciones asumidas" no dice nada sin el total.
Crítico en el promedio. El error que cuesta dinero desaparece dentro del 99%.
Promedio de tiempo. Un pedido trabado jala el promedio; usa mediana y p95.
Autonomía como meta. Sube cuando el agente deja de pedir ayuda.
Estimación como observado. El antes que nadie midió aparece como estimado, siempre.
04 · Práctica
El panel de Hora para practicar; el de tu agente para valer.
1 · El panel de Hora
30 min
Abre el panel del laboratorio y escribe, para cada una de las 4 columnas, qué mide y qué no muestra. Después arma el panel de Hora con el modelo, usando los números de la línea de base de esta clase, y completa la ficha de indicador del número 4 (autonomía) con el par que lo vigila.
Listo cuando: las 4 columnas del panel del lab tienen "mide" y "no muestra"; el panel tiene los 5 indicadores con numerador, denominador, línea de base con n, límite con acción y responsable; los errores críticos aparecen fuera de cualquier porcentaje; y la ficha de la autonomía dice qué indicador la vigila.
2 · El panel de tu agente
45 min
Arma el panel de tu agente con los 5 indicadores. Escribe de dónde sale cada número y quién lo extrae. Empieza la recolección de 4 semanas de la línea de base, sin cambiar nada en el agente durante ese período, y marca como estimado todo lo que venga de antes.
Listo cuando: el panel está guardado con las 5 fichas; cada valor de hoy está marcado como observado (con n y período) o estimado (con la fuente); la fecha en que terminan las 4 semanas está en el calendario; y el prompt "cómo engaña este indicador" se ejecutó y se respondió.
5 preguntas. La explicación aparece después de tu intento.
Pregunta 1 de 5
Las atenciones de Hora subieron de 702 a 901 por semana. ¿Qué prueba eso?
Correcto
El volumen sube por muchas razones, incluso por exceso de descuentos. Para gobernar el agente, el número tiene que cambiar cuando el agente se equivoca.
No es esa
El volumen sube por muchas razones, incluso por exceso de descuentos. Para gobernar el agente, el número tiene que cambiar cuando el agente se equivoca.Repasar: Del panel de volumen al panel del agente
Pregunta 2 de 5
La meta del trimestre es subir la autonomía de Hora de 75% a 90%. ¿Cuál es el riesgo?
Correcto
Es el indicador que mejora cuando el agente empeora. Necesita un par que lo vigile: calidad en la muestra y errores críticos.
No es esa
Es el indicador que mejora cuando el agente empeora. Necesita un par que lo vigile: calidad en la muestra y errores críticos.Repasar: Cinco indicadores y una alarma
Pregunta 3 de 5
¿Cuál de estas es una línea de base honesta para Hora?
Correcto
El pasado que no se midió no se inventa. La línea de base pasa a ser el presente medido, contra el cual se comparará cada cambio.
¿Por qué usar mediana y p95 en el tiempo, en vez del promedio?
Correcto
La mediana muestra el caso típico y el p95 no deja que los trabados desaparezcan. Los pedidos que esperan aprobación quedan en el p95.
No es esa
La mediana muestra el caso típico y el p95 no deja que los trabados desaparezcan. Los pedidos que esperan aprobación quedan en el p95.Repasar: Cinco indicadores y una alarma
Pregunta 5 de 5
La muestra de la semana tuvo 39 correctas de 40 y un error crítico. ¿Cómo queda el panel?
Correcto
El crítico se cuenta aparte y tiene acción propia: la acción vuelve al amarillo y abre un incidente. El porcentaje alto no cancela la alarma.
No es esa
El crítico se cuenta aparte y tiene acción propia: la acción vuelve al amarillo y abre un incidente. El porcentaje alto no cancela la alarma.Repasar: Modelos para copiar
Prueba terminada
Acertaste {a} de {n}. Si aciertas todas, la clase se marca como completada.
Elige una alternativa. La explicación aparece después de tu intento.
06 · Resumen
Cinco fraccionesCalidad, tiempo, costo, autonomía e intervención, cada una con denominador.
Crítico aparteContado fuera de los promedios, con acción propia.
Línea de baseCuatro semanas medidas ahora; el antes, solo como estimado.
Límite y parTodo indicador tiene un límite con acción y otro que lo vigila.
