Aula 6 · 20 min
No /goal interativo, quem decide que acabou é um avaliador lendo a conversa. No loop headless, quem decide é o teste, rodado pelo próprio loop, com os arquivos de teste protegidos. Nesta aula você roda o loop-longrun.sh com um agente falso: vê concluir, vê a trapaça ser revertida e vê a trava impedir dois loops na mesma pasta, sem gastar cota.
Começar a aula
Objetivo: rodar o loop-longrun.sh com um agente falso e ver o teste decidir: concluído, trapaça revertida, estagnação e trava de segunda cópia.
O agente trabalha; o loop decide. Clique em cada etapa.
Se o que falta só aparece no teste final (lento), cada ciclo conta como "sem avanço": ponha esses casos também no teste rápido ou aumente ESTAGNACAO (aviso do próprio script).
Rode, interrompa no meio e rode de novo. Um dos ciclos mexe num teste protegido.
Simulação ilustrativa no navegador. O ensaio de verdade, com agente falso, está logo abaixo.
O loop aceita CODEX_BIN: apontando para um script, nenhum modelo é chamado. É a forma barata de testar o seu loop.env antes de gastar cota.
# ensaio-loop.sh — monta um projeto de teste com 3 testes congelados e dois agentes FALSOS
E=/tmp/ensaio-loop; K=~/projetos/execucao-longa
rm -rf $E && mkdir -p $E/proj/tests && cd $E/proj
git init -q && git config user.name ensaio && git config user.email ensaio@local
cat > tests/test_conta.py <<'PY'
from conta import conta_palavras
def test_vazio(): assert conta_palavras("") == 0
def test_simples(): assert conta_palavras("um dois três") == 3
def test_espacos(): assert conta_palavras(" um dois ") == 2
PY
printf 'def conta_palavras(texto):\n raise NotImplementedError\n' > conta.py
printf '[pytest]\npythonpath = .\n' > pytest.ini
printf '__pycache__/\n' > .gitignore
git add -A && git commit -qm "base: testes congelados"
$K/tools/novo-longrun.sh $E/proj conta-palavras > /dev/null
D=$(ls -d $E/proj/longrun/*)
echo "Implemente conta_palavras em conta.py. Leia goal.md, state.md e plan.md antes. Não mexa em tests/." > $D/prompt.md
cat > $D/loop.env <<'ENV'
TESTE_RAPIDO="python3 -m pytest -q"
TESTE_FINAL="python3 -m pytest -q"
PROTEGIDOS="tests/ pytest.ini"
PERMITIDOS="conta.py"
MAX_CICLOS=4
MIN_CICLO=2
MEM=1G
ESTAGNACAO=3
ENV
git add -A && git commit -qm "longrun: pasta da execução"
printf '#!/usr/bin/env bash\ncat > /dev/null\nprintf "def conta_palavras(texto):\\n return len(texto.split())\\n" > conta.py\n' > $E/agente-bom.sh
printf '#!/usr/bin/env bash\ncat > /dev/null\nrm -f tests/test_conta.py\n' > $E/agente-trapaca.sh
printf '#!/usr/bin/env bash\ncat > /dev/null\nsleep 6\n' > $E/agente-lento.sh
chmod +x $E/agente-*.sh
echo "pronto: $D"bash ensaio-loop.sh cd /tmp/ensaio-loop/proj && D=$(ls -d $PWD/longrun/*) && L=~/projetos/execucao-longa/tools/loop-longrun.sh CODEX_BIN=/tmp/ensaio-loop/agente-trapaca.sh $L $D; echo "saída: $?" # A) trapaça CODEX_BIN=/tmp/ensaio-loop/agente-bom.sh $L $D; echo "saída: $?" # B) trabalho certo CODEX_BIN=/tmp/ensaio-loop/agente-lento.sh $L $D > /dev/null 2>&1 & # C) dois loops sleep 2; CODEX_BIN=/tmp/ensaio-loop/agente-lento.sh $L $D; echo "saída: $?"; wait
TESTE_RAPIDO="pytest -q -m 'not real'" TESTE_FINAL="pytest -q" PROTEGIDOS="tests/ pytest.ini tools/medicao/" PERMITIDOS="tools/medir-sessao.py" MAX_CICLOS=6 MIN_CICLO=20 MEM=8G ESTAGNACAO=3 AGENTE=codex MODELO=<o modelo topo da sua assinatura no Codex> # se os testes sobem servidor local, o sandbox workspace-write bloqueia até 127.0.0.1: # CODEX_ARGS="-c sandbox_workspace_write.network_access=true"
## A) trapaça 2026-10-19 03:56:46 início: rápido=0 passed · agente=codex · teto 4x2min · mem 1G 2026-10-19 03:56:46 ciclo 1: começa 2026-10-19 03:56:46 ciclo 1: agente saiu rc=0 em 0s 2026-10-19 03:56:46 ciclo 1: agente mexeu em arquivo protegido → revertido, ciclo falho 2026-10-19 03:56:46 ciclo 1: checkpoint commitado (… ciclos 2 e 3 iguais …) 2026-10-19 03:56:47 PARADO: 3 ciclos sem avanço mensurável — ver failures.md saída: 2 ## B) trabalho certo 2026-10-19 03:56:48 início: rápido=0 passed · agente=codex · teto 4x2min · mem 1G 2026-10-19 03:56:48 ciclo 1: começa 2026-10-19 03:56:48 ciclo 1: agente saiu rc=0 em 0s 2026-10-19 03:56:48 ciclo 1: rápido=3 passed (melhor antes: 0) 2026-10-19 03:56:48 ciclo 1: checkpoint commitado 2026-10-19 03:56:49 CONCLUÍDO no ciclo 1: teste final passou (3 passed) saída: 0 ## C) dois loops outro loop já roda nesta pasta saída: 3
Os testes apagados pela trapaça voltaram: o loop reverteu os três ciclos e escreveu três linhas "revertido pelo loop" em failures.md.
Sem a linha __pycache__/ no .gitignore, o próprio pytest cria arquivos novos dentro de tests/. O loop vê arquivo não rastreado em pasta protegida e conta o ciclo do agente BOM como trapaça. Capturado no mesmo ensaio, sem o .gitignore:
2026-10-19 03:56:28 ciclo 1: agente saiu rc=0 em 0s 2026-10-19 03:56:28 ciclo 1: agente mexeu em arquivo protegido → revertido, ciclo falho 2026-10-19 03:56:29 CONCLUÍDO no ciclo 1: teste final passou (3 passed)
Terminou porque o teste final passou, mas o ciclo ficou marcado como falho e foi para failures.md. Com o agente lento, três ciclos assim dariam estagnação. Antes de ligar o loop: git status --short tests/ depois de rodar os testes tem de sair vazio.
O loop roda sozinho; estes três pedaços cuidam dele.
O vigia.py procura execuções ativas (state.md sem "concluído") e alerta uma vez cada problema: PARADO (o loop.log registrou parada), PARADO SEM AVISO (há loop.log mas nenhum processo do loop vivo) e OCIOSA (nada mudou na pasta nem nas sessões há N minutos).
Alerta = linha em ~/.local/state/execucao-longa/alertas.log; notify-send só com --desktop.
As units em tools/systemd/ trazem o caminho absoluto da máquina do autor (/home/nmaldaner/…). O sed do bloco da prática troca esse caminho pelo seu HOME antes de ativar; sem ele, o timer dispara e o serviço falha em silêncio.
grep -c nmaldaner ~/.config/systemd/user/longrun-vigia.service → 0; systemctl --user list-timers longrun-vigia.timer → mostra o próximo disparo
Todo cron que chama agente leva flock -n num arquivo de lock e timeout com teto. No claude -p, também --max-turns.
Sem flock, um disparo lento e o seguinte rodam juntos na mesma pasta.
0 2 * * * flock -n /tmp/meu-loop.lock timeout 4h ~/projetos/execucao-longa/tools/loop-longrun.sh ~/projetos/[projeto]/longrun/[pasta]
Copia as units do kit, troca o caminho pelo seu e ativa o timer.
mkdir -p ~/.config/systemd/user cp ~/projetos/execucao-longa/tools/systemd/longrun-vigia.* ~/.config/systemd/user/ sed -i "s#/home/nmaldaner#$HOME#g" ~/.config/systemd/user/longrun-vigia.service systemctl --user daemon-reload systemctl --user enable --now longrun-vigia.timer systemctl --user list-timers longrun-vigia.timer python3 ~/projetos/execucao-longa/tools/vigia.py --seco # uma rodada à mão, sem gravar estado
As três rodadas do ensaio, depois o vigia.
Rode o ensaio-loop.sh e a rodada A (agente-trapaca).
Pronto quando: a última linha do log é PARADO: 3 ciclos sem avanço mensurável, saída: 2, ls tests/ ainda mostra test_conta.py e grep -c "revertido pelo loop" $D/failures.md → 3.
Rode as rodadas B e C.
Pronto quando: B termina com CONCLUÍDO no ciclo 1: teste final passou (3 passed) e saída: 0; C imprime outro loop já roda nesta pasta e saída: 3.
Instale o timer do vigia com o caminho trocado. Deixe a pasta da sua execução real (aula 1) sem "concluído" no state.md.
Pronto quando: systemctl --user list-timers longrun-vigia.timer mostra o próximo disparo e systemctl --user status longrun-vigia.service não mostra falha na última rodada.
Pergunta 1 de 5
No loop headless, quem decide que a execução acabou?competência
Pergunta 2 de 5
O agente apagou um teste que falhava. O que o loop faz?competência
Pergunta 3 de 5
O loop saiu com código 3. O que aconteceu?
Pergunta 4 de 5
O agente bom foi marcado como "mexeu em arquivo protegido". Causa mais provável?
Pergunta 5 de 5
Para que serve o MemoryMax por ciclo?
Escolha uma alternativa. A explicação aparece depois da sua tentativa.