Establece una configuración de referencia
Qué es
El walk it down comienza con una configuración capaz de cumplir la tarea. Registra modelo, esfuerzo disponible, herramientas, versión de la skill y casos usados. Esa es la referencia con la que se compararán alternativas más ligeras.
Por qué aprender
Sin una línea de base no sabes si la caída de calidad provino de la configuración, de los datos o de la instrucción. Los nombres y resultados citados en el video son ejemplos de ese experimento, no una jerarquía de precios o desempeño garantizada.
Conceptos clave
Experimento E01
Skill: versión 1.0.0
Casos: C01 a C08
Modelo: identificador disponible en tu cuenta
Esfuerzo: valor soportado por la interfaz
Registrar: aprobación, tiempo, consumo y retrabajo.
✓ Haz así
Usa nombres y opciones que estén realmente disponibles en el entorno.
✗ Evita este error
Fija en el curso precios o menús que puedan cambiar.
Practica antes de revelar
¿Qué información falta en “el modelo B fue más rápido”?
Ver respuesta comentada
Casos, número de ejecuciones, criterios de aceptación, herramientas, esfuerzo y variación de tiempo. Una afirmación comparativa precisa necesita estas condiciones.
Compara una variable a la vez
Qué es
Mantén los casos, la skill y la rúbrica iguales al cambiar el modelo. Después de elegir un candidato, prueba otro nivel de esfuerzo si la interfaz ofrece ese control. No asumas que todos los modelos aceptan las mismas opciones.
Por qué aprender
Cambiar simultáneamente modelo, prompt y herramienta impide atribuir la diferencia a una causa. Una comparación simple y controlada vale más que una gran planilla llena de condiciones incompatibles.
Conceptos clave
Ronda 1: modelo A vs B, esfuerzo equivalente cuando sea posible.
Ronda 2: mejor candidato, esfuerzo alto vs medio.
Ronda 3: validar la elección en casos reservados.
Si las opciones no son equivalentes, registrar la diferencia.
Del concepto a la acción
- Modelo A: identificar la condición inicial.
- Mismos casos: aplicar la decisión descrita.
- Modelo B: comprobar el efecto en el ejemplo.
- Misma rúbrica: registrar la evidencia de salida.
✓ Haz así
Mantén las entradas congeladas durante la comparación.
✗ Evita este error
Mejorar la skill solo para un candidato y llamar a la prueba justa.
Practica antes de revelar
Cambiaste el prompt para ayudar a B. ¿Qué hacer antes de comparar?
Ver respuesta comentada
Ejecutar nuevamente A con la misma versión de la skill, o declarar que son dos sistemas diferentes. Lo importante es no atribuirle al modelo un cambio de instrucción.
Elige casos que representen el trabajo real
Qué es
En el estudio visual del video, un candidato fue mejor en ciertos recortes y peor en otros. Para descubrir qué sirve a tu trabajo, incluye ejemplos de naturalezas diferentes: demostración de pantalla, voz con pocas imágenes y contenido con gráficos.
Por qué aprender
Un solo ejemplo favorece las coincidencias. Repite casos importantes y examina dónde falla la configuración, no solo tu promedio. Una tasa alta de aprobación puede ocultar un error grave en un tipo raro, pero esencial.
Conceptos clave
Informe: normal, vacío, campo ausente, valor inválido.
Artículo: tutorial, entrevista, presentación con gráficos.
Repetir los casos con mayor riesgo y guardar resultados brutos.
✓ Haz así
Divulgue el tamaño de la muestra junto con la tasa de aprobación.
✗ Evita este error
Generalizar el desempeño de una tarea para todas las skills.
Practica antes de revelar
Una configuración pasa en 9 de 10 casos, pero inventa valor en el décimo. ¿Puede ganar por el promedio?
Ver respuesta comentada
No inventar valores es bloqueante. La política de aceptación debe aplicarse antes de comparar el costo; el promedio no compensa una falla crítica.
Calcule el costo por entrega aceptada
Qué es
El precio por llamada es solo una parte del costo. Incluye intentos y correcciones. En el ejemplo didáctico, A gasta 12 unidades para 10 entregas aceptadas; B gasta 8 para 5. A cuesta 1,20 por entrega aceptada y B cuesta 1,60.
Por qué aprender
La configuración nominalmente barata puede consumir más recursos por culpa del retrabajo. Registra el tiempo humano por separado o establece una forma explícita de monetizarlo. No mezcles costo de API con suscripción sin explicar el método.
Conceptos clave
A: 12 unidades / 10 aceptadas = 1,20 por aceptación
B: 8 unidades / 5 aceptadas = 1,60 por aceptación
Si aceptadas = 0: no existe costo finito por aceptación.
Tiempo de revisión humana: registrar en una columna separada.
✓ Haz así
Sume el costo de los intentos que fallaron.
✗ Evita este error
Excluir retries para que la alternativa parezca barata.
Practica antes de revelar
Cuesta 9 unidades y aprueba 6 salidas. ¿Cuál es el costo por aceptación?
Ver respuesta comentada
1,50 unidad por entrega aceptada. Solo compare con A y B si el criterio de calidad y el conjunto de casos fueran equivalentes.
¿Cuánto cuesta cada entrega aceptada?
Incluya intentos fallidos en el costo. Esta simulación no consulta precios de servicios.
Reduzca el esfuerzo con una puerta de calidad
Qué es
Después de encontrar un modelo adecuado, prueba reducir el esfuerzo cuando exista ese control. La decisión depende de la calidad observada, del tiempo y del consumo. Más esfuerzo no es garantía de mejor resultado en toda tarea.
Por qué aprender
Una skill con reglas claras y script de cálculo puede requerir menos deliberación que una revisión visual compleja. La puerta de calidad impide que la economía elimine justamente la verificación que evita errores.
Conceptos clave
Configuración actual → pasa la suite.
Menor esfuerzo → ejecutar la misma suite.
¿Pasó sin regresiones relevantes? Comparar tiempo y costo.
¿Falló? Volver a la referencia o investigar la skill.
Del concepto a la acción
- Referencia aprobada: identificar la condición inicial.
- Reducir esfuerzo: aplicar la decisión descrita.
- Reevaluar: comprobar el efecto en el ejemplo.
- Adoptar o volver: registrar la evidencia de salida.
✓ Haz así
Guarde la configuración anterior para una reversión.
✗ Evita este error
Saltar la revisión para reducir tiempo y llamarlo optimización.
Practica antes de revelar
La configuración ligera funciona en resumen, pero falla en recorte visual. ¿Qué sugiere?
Ver respuesta comentada
Posiblemente dividir el flujo y usar configuraciones diferentes por etapa, si el entorno lo permite. La decisión necesita una nueva prueba integrada; separar etapas también agrega costo y complejidad.
Registre una decisión que pueda revisarse
Qué es
El resultado del experimento debe decir qué configuración se eligió, por qué, en qué casos y con qué límites. Incluye una fecha de revisión o eventos que justifiquen repetir la comparación: nueva herramienta, modelo, tipo de entrada o cambio de contrato.
Por qué aprender
La optimización es una decisión situada. Una actualización puede alterar el comportamiento o la disponibilidad. Guardar la evidencia te permite revisar la elección sin empezar de opiniones vagas o del recuerdo del mejor ejemplo.
Conceptos clave
Elección: configuración B para resúmenes de texto.
Base: pasó en 12 casos, 3 rondas por caso.
Límite: no evaluada para edición de imágenes.
Reevaluar: cambio de modelo, rúbrica o entrada.
✓ Haz así
Diferencie medición, estimación e información no disponible.
✗ Evita este error
Declarar “el mejor modelo” sin especificar la tarea y las condiciones.
Practica antes de revelar
¿Qué conclusión cabe después de un piloto de solo dos casos?
Ver respuesta comentada
“El candidato merece una evaluación mayor”. Dos casos pueden revelar un defecto, pero no respaldan una promesa amplia de confiabilidad.
Verifique su comprensión
¿Qué número ayuda más a elegir una configuración económica?
¿Qué te llevas de este módulo?
Planifique una comparación justa y calcule el costo por entrega aceptada.
- Establezca una configuración de referencia.
- Compare una variable por vez.
- Elija casos que representen el trabajo real.
- Calcule el costo por entrega aceptada.
- Reduzca el esfuerzo con una puerta de calidad.
- Registre una decisión que puede revisarse.
Próxima acción: guarde el ejercicio en su laboratorio y registre lo que todavía necesita revisión.