Verificación y Evals|INEMA.CLUB-PRO

Formación LOOP-R Ingeniería · curso 1 de 6 · 8 lecciones

Verificación y Evals: quien dice que terminó no puede ser quien lo hizo

Evaluador separado y escéptico, criterio que se verifica por comando, tests congelados, detección de atajos, conjunto de oro, juez calibrado, métricas que no engañan y una compuerta en capas para tu loop. Todo con scripts pequeños que primero ejecutas gratis, con agente y juez falsos.

Empezar por la lección 1 Ver el área de la formación
Mesa de inspección de noche con una lupa articulada sobre una placa, osciloscopio y terminal al fondo.
  • 8lecciones
  • 22ejercicios con salida esperada
  • 14scripts en el kit, todos con ensayo sin costo
  • 0llamadas a modelos en los ensayos

Las lecciones

En el orden en que montas la compuerta: separar a quien verifica, verificar el criterio, proteger al juez, cazar atajos, medir con evals y juez, leer los números y juntar todo.

  1. Lección 1 · 18 minPor qué el agente se sobrestima: evaluador separado y escépticoEl agente que hizo el trabajo es el peor juez de sí mismo: escribe "3 passed" sin haber ejecutado nada, o encuentra el defecto y se convence de aprobar. En esta lección separas a quien hace de quien revisa: un evaluador que no lee el relato del agente, ejecuta el test por su cuenta y parte de la base de que está roto.
  2. Lección 2 · 18 minComando → salida: verificar el criterio y el evaluador del /goalUn criterio solo vale si alguien de afuera puede comprobarlo sin confiar en el agente. En esta clase ejecutas cada criterio del goal.md como comando, ves cuál de ellos pasa por atajo y aprendes dónde debe aparecer la prueba: el evaluador del /goal en Claude Code solo lee la conversación.
  3. Lección 3 · 20 minTests congelados y guardia de diff en los testsSi el agente puede tocar al juez, el juez no vale. Congelar los tests es escribirlos antes, guardar una copia de ellos fuera del alcance del agente y reprobar cualquier cambio. En esta clase ves que proteger solo la carpeta tests/ no basta: un conftest.py en la raíz omite todo y pytest sale con 0.
  4. Lección 4 · 20 minAtajos y reward hacking: cómo detectarlosReward hacking es cuando el agente cumple la letra del test sin hacer el trabajo: toca al juez, memoriza la respuesta, silencia el error o solo dice que lo hizo. Ya se ha medido en agentes de código. En esta clase reconoces los cuatro tipos y activas tres detectores que se complementan: tests ocultos, lectura del diff y el evaluador escéptico.
  5. Lección 5 · 20 minConjunto de oro: evals de tu agenteCambiaste el prompt, cambiaste el modelo, instalaste una skill: ¿el agente quedó mejor o solo distinto? Un conjunto de oro es una lista congelada de casos reales con la respuesta correcta, verificada por código, que ejecutas en cada cambio. En esta lección armas uno, comparas dos versiones y ves una regresión escondida detrás del mismo total.
  6. Lección 6 · 22 minJuez por modelo con rúbrica calibradaNo todo se convierte en test: "¿el mensaje explica el porqué?" pide lectura. Un modelo puede juzgar eso, siempre que la rúbrica sea sí/no, el juicio se repita y el juez haya sido comparado con etiquetas tuyas antes de valer. En esta clase calibras un juez falso (que falla), después uno real, y ves cómo la calibración encuentra una rúbrica ambigua.
  7. Lección 7 · 18 minMétricas honestas: pass@k, pass^k, varianza, SWE-bench y METR"Acierta el 90%" puede querer decir que acierta casi siempre o que acierta al menos una vez en tres intentos. Para un loop que corre sin ti, solo sirve la primera. En esta clase mides las dos en tu conjunto de oro, ves cuánto oscila el número entre rondas y aprendes a leer SWE-bench y el horizonte de METR sin exagerar.
  8. Lección 8 · 22 minArmar la compuerta de tu loopCada clase aportó una pieza: evaluador, criterios, guardia, atajos, evals, juez. La compuerta las pone en cola, de las baratas a las caras: lo que el código reprueba no llega a gastar cuota con modelo. En esta clase montas la compuerta, la conectas al loop headless del curso 2 y sales con el plan con fechas para hacer el tuyo.

Para quién es

  1. 1Quien ya usa Claude Code o Codex en la terminal y ya escuchó "listo, todos los tests pasan" sin que pasaran.
  2. 2Quien va a dejar un loop corriendo solo y necesita un juez que el agente no pueda engañar.
  3. 3Quien quiere comparar dos versiones de un agente con números, no con impresiones.

Qué vas a saber hacer

  1. 1Ejecutar un evaluador separado, que no lee el reporte del agente y reprueba lo que solo parece listo.
  2. 2Congelar los tests y todo lo que lee pytest, y atrapar al agente que borra, omite o memoriza la respuesta.
  3. 3Montar un conjunto de oro con regresión y un juez por modelo calibrado contra tus propias etiquetas.
  4. 4Leer pass@k, pass^k, varianza y benchmarks sin engañarte, y cerrar con una compuerta en capas.

Antes de empezar

  1. 1Linux o macOS con git, Python 3 y pytest. Los ensayos no llaman a ningún modelo.
  2. 2Claude Code o Codex entrando por tu suscripción, solo para los pasos marcados "real".
  3. 3Recomendado: el curso 0 (Base) para la escala de criterio de terminado. El curso 2 (Ejecución Larga) usa esta compuerta.