Clase 4 · 18 min
El multiagente más útil tiene dos roles: uno hace, otro revisa. El generador siempre dice "listo"; quien decide es un evaluador separado que mira solo el artefacto y devuelve un dictamen. En esta clase conectas los dos en un ciclo con tope de rondas, primero con un generador falso que miente y después con Claude de verdad.
Empezar la clase
Objetivo: conectar un generador a un evaluador separado que solo mira el artefacto y devuelve un dictamen, con tope de rondas.
El generador nunca se pone su propia nota. Haz clic en cada etapa.
La concordancia entre dos modelos no es prueba independiente: pueden compartir la misma suposición equivocada. El criterio por código va primero.
El evaluador es el verificar.mjs del proyecto de entrenamiento; el generador es cualquier comando que lea el pedido por stdin.
#!/usr/bin/env bash
# gera-avalia.sh — el generador hace; el evaluador (otro proceso, solo el artefacto) comprueba; hasta MAX rondas.
# Uso: gera-avalia.sh <goal.md> "<pedido>"
# GERADOR = comando que lee pedido + dictamen por stdin (por defecto: claude -p --permission-mode acceptEdits)
# el evaluador es el verificar.mjs del kit: ejecuta cada criterio `comando` → `salida esperada`
set -u
GOAL="${1:?uso: gera-avalia.sh <goal.md> \"<pedido>\"}"; PEDIDO="${2:?pedido}"
GERADOR="${GERADOR:-claude -p --permission-mode acceptEdits}"; MAX="${MAX:-3}"; parecer=""
mkdir -p .gera-avalia
for r in $(seq 1 "$MAX"); do
printf '%s\n%s\n' "$PEDIDO" "$parecer" | timeout 600 $GERADOR > .gera-avalia/gerador-$r.log 2>&1
rc=$?
if [ $rc -ne 0 ]; then # el generador cayó o superó el tope: no evalúa lo que sobró de una ronda anterior
echo "rodada $r · gerador falhou (rc=$rc) → REPROVADO"; parecer="A rodada anterior falhou (rc=$rc)."; continue
fi
echo "rodada $r · gerador diz: $(tail -1 .gera-avalia/gerador-$r.log)"
if node runtime/scripts/verificar.mjs "$GOAL" > .gera-avalia/avaliador-$r.log 2>&1; then
echo "rodada $r · avaliador: $(tail -1 .gera-avalia/avaliador-$r.log) → APROVADO"; exit 0
fi
echo "rodada $r · avaliador: $(tail -1 .gera-avalia/avaliador-$r.log) → REPROVADO"
parecer="O avaliador reprovou. Trecho do parecer: $(grep -A2 '^FALHA' .gera-avalia/avaliador-$r.log)"
done
echo "PARADO: $MAX rodadas sem aprovação"; exit 2# Goal — saludo ## Criterios de terminado - [ ] `cat saudacao.txt` → `Olá, comunidade INEMA` - [ ] `wc -l < saudacao.txt` → `1`
cd ~/treino-multi && chmod +x gera-avalia.sh && rm -f saudacao.txt
E=${TMPDIR:-/tmp}/ensaio-multi/gera; rm -rf $E && mkdir -p $E
cat > $E/gerador-falso.sh <<'SH'
#!/usr/bin/env bash
entrada=$(cat)
case "$entrada" in
*reprovou*) echo "Olá, comunidade INEMA" > saudacao.txt ;; # 2.ª vez: leyó el dictamen
*) printf 'Olá comunidade INEMA\n\n' > saudacao.txt ;; # 1.ª vez: coma faltante y una línea de más
esac
echo "Pronto! saudacao.txt criado conforme pedido."
SH
chmod +x $E/gerador-falso.sh
GERADOR=$E/gerador-falso.sh ./gera-avalia.sh goal-saudacao.md "Crie saudacao.txt com uma linha: Olá, comunidade INEMA"
echo "saída: $?"cd ~/treino-multi && rm -f saudacao.txt ./gera-avalia.sh goal-saudacao.md "Crie saudacao.txt com uma linha: Olá, comunidade INEMA" < /dev/null echo "saída: $?"; cat saudacao.txt
## ensaio (gerador falso) rodada 1 · gerador diz: Pronto! saudacao.txt criado conforme pedido. rodada 1 · avaliador: 0/2 critérios OK → REPROVADO rodada 2 · gerador diz: Pronto! saudacao.txt criado conforme pedido. rodada 2 · avaliador: 2/2 critérios OK → APROVADO saída: 0 ## real (Claude como gerador) rodada 1 · gerador diz: Terminei: criei o `saudacao.txt`. Conferi o arquivo e ele tem uma linha só: `Olá, comunidade INEMA`. Não fiz commit. rodada 1 · avaliador: 2/2 critérios OK → APROVADO saída: 0 Olá, comunidade INEMA
En la ronda 1 del ensayo el generador dijo "listo" con la coma faltante y una línea de más; el evaluador reprobó los dos criterios. Los títulos con ## separan las dos ejecuciones.
Un generador que ignora el dictamen (siempre escribe "Olá comunidade") nunca pasa. El tope de rondas termina con código 2:
rodada 1 · gerador diz: Pronto, terminei. rodada 1 · avaliador: 1/2 critérios OK → REPROVADO rodada 2 · gerador diz: Pronto, terminei. rodada 2 · avaliador: 1/2 critérios OK → REPROVADO rodada 3 · gerador diz: Pronto, terminei. rodada 3 · avaliador: 1/2 critérios OK → REPROVADO PARADO: 3 rodadas sem aprovação saída: 2
Tres rondas sin avance es la misma regla de parada del curso 2: llama a una persona.
Con el saudacao.txt correcto de una ronda anterior todavía en disco y un generador que sale con error, la primera versión del script aprobaría lo que sobró. La versión de arriba reprueba la ronda sin evaluar:
rodada 1 · gerador falhou (rc=1) → REPROVADO rodada 2 · gerador falhou (rc=1) → REPROVADO PARADO: 2 rodadas sem aprovação saída: 2 saudacao.txt
Este defecto lo encontró la revisión de Codex en la clase 7, en una ronda sobre este mismo script.
La receta R2 del proyecto de entrenamiento hace el mismo lazo con subagentes.
Devuelve hasta 5 pasos y los criterios en el formato comando → salida esperada, más los riesgos que piden confirmación.
En el kit, corre en un nivel tope; herramientas Read, Grep, Glob.
Sigue el plan un paso a la vez y muestra la salida real de cada comando de prueba. Puede editar.
En el kit, nivel ejecutor; es el único papel con Write y Edit.
Ejecuta cada criterio, lo compara con la salida real y termina en APROVADO o FALTA: con la lista.
En el kit, nivel menor. Tiene Bash para ejecutar los criterios, y por eso puede escribir (clase 2).
En una sesión abierta en ~/treino-multi: "Use o time: o planejador planeja, o executor faz e o revisor confere. Tarefa: [tu tarea]".
La prueba de la receta: la respuesta termina con APROVADO y el archivo pedido existe.
El ensayo prueba el loop; la ronda real prueba que funciona con un modelo.
Guarda gera-avalia.sh y goal-saudacao.md y ejecuta el ensayo. Después cambia el generador falso por uno que nunca corrige.
Listo cuando: el ensayo termina en rodada 2 · avaliador: 2/2 critérios OK → APROVADO y saída: 0; el terco termina en PARADO: 3 rodadas sem aprovação y saída: 2.
Antes, haz commit del goal (git add goal-saudacao.md && git commit -qm goal), para que git avise si cambia. Ejecuta la versión real. Después escribe un goal tuyo, con 2 o 3 criterios, para una tarea pequeña de tu proyecto, y ejecútalo de nuevo.
Listo cuando: las dos rondas terminan con → APROVADO y saída: 0 en hasta 3 rondas, y git diff --exit-code -- goal-saudacao.md → código 0 (el generador no tocó los criterios).
Pregunta 1 de 4
El generador escribió "Pronto! criado conforme pedido". ¿Qué decide eso?competencia
Pregunta 2 de 4
¿Qué debe recibir el evaluador?competencia
Pregunta 3 de 4
El generador salió con error, pero había un saudacao.txt correcto de antes en el disco. ¿Qué debe hacer el script?
Pregunta 4 de 4
Dos modelos distintos coincidieron en que el trabajo está bien. ¿Eso prueba algo?
Elige una alternativa. La explicación aparece después de tu intento.