Verificação e Evals|INEMA.CLUB-PRO

Formação LOOP-R Engenharia · curso 1 de 6 · 8 aulas

Verificação e Evals: quem diz que acabou não pode ser quem fez

Avaliador separado e cético, critério que se confere por comando, testes congelados, detecção de atalho, conjunto de ouro, juiz calibrado, métricas que não enganam e um portão em camadas para o seu loop. Tudo com scripts pequenos que você roda primeiro de graça, com agente e juiz falsos.

Começar pela aula 1 Ver a área da formação
Bancada de inspeção à noite com lupa articulada sobre uma placa, osciloscópio e terminal ao fundo.
  • 8aulas
  • 22exercícios com saída esperada
  • 14scripts no kit, todos com ensaio sem custo
  • 0chamadas de modelo nos ensaios

As aulas

Na ordem em que você monta o portão: separar quem confere, conferir o critério, proteger o juiz, caçar atalhos, medir com evals e juiz, ler os números e juntar tudo.

  1. Aula 1 · 18 minPor que o agente se superestima: avaliador separado e céticoO agente que fez o trabalho é o pior juiz dele: escreve "3 passed" sem ter rodado, ou acha o defeito e se convence a aprovar. Nesta aula você separa quem faz de quem confere: um avaliador que não lê o relato do agente, roda o teste por conta própria e parte do princípio de que está quebrado.
  2. Aula 2 · 18 minComando → saída: verificar o critério e o avaliador do /goalUm critério só vale se alguém de fora consegue conferi-lo sem confiar no agente. Nesta aula você roda cada critério do goal.md como comando, vê qual deles passa por atalho e aprende onde a prova tem de aparecer: o avaliador do /goal no Claude Code só lê a conversa.
  3. Aula 3 · 20 minTestes congelados e guarda de diff nos testesSe o agente pode mexer no juiz, o juiz não vale. Congelar os testes é escrevê-los antes, guardar um retrato deles fora do alcance do agente e reprovar qualquer mudança. Nesta aula você vê que proteger só a pasta tests/ não basta: um conftest.py na raiz pula tudo e o pytest sai com 0.
  4. Aula 4 · 20 minAtalhos e reward hacking: como detectarReward hacking é o agente cumprir a letra do teste sem fazer o trabalho: mexer no juiz, decorar a resposta, silenciar o erro ou só dizer que fez. Já foi medido em agentes de código. Nesta aula você reconhece os quatro tipos e liga três detectores que se completam: testes escondidos, leitura do diff e o avaliador cético.
  5. Aula 5 · 20 minConjunto de ouro: evals do seu agenteMudou o prompt, trocou o modelo, instalou uma skill: o agente ficou melhor ou só diferente? Um conjunto de ouro é uma lista congelada de casos reais com a resposta certa, conferida por código, que você roda a cada mudança. Nesta aula você monta um, compara duas versões e vê uma regressão escondida atrás do mesmo total.
  6. Aula 6 · 22 minJuiz por modelo com rubrica calibradaNem tudo vira teste: "a mensagem explica o porquê?" pede leitura. Um modelo pode julgar isso, desde que a rubrica seja sim/não, o julgamento se repita e o juiz tenha sido comparado com rótulos seus antes de valer. Nesta aula você calibra um juiz falso (que falha), depois um real, e vê a calibração achar uma rubrica ambígua.
  7. Aula 7 · 18 minMétricas honestas: pass@k, pass^k, variância, SWE-bench e METR"Acerta 90%" pode querer dizer que acerta quase sempre ou que acerta pelo menos uma vez em três tentativas. Para um loop que roda sem você, só a primeira serve. Nesta aula você mede as duas no seu conjunto de ouro, vê quanto o número oscila entre rodadas e aprende a ler SWE-bench e o horizonte do METR sem exagerar.
  8. Aula 8 · 22 minMontar o portão do seu loopCada aula deu uma peça: avaliador, critérios, guarda, atalhos, evals, juiz. O portão as põe em fila, das baratas para a cara: o que o código reprova não chega a gastar cota com modelo. Nesta aula você monta o portão, liga no loop headless do curso 2 e sai com o plano datado para fazer o seu.

Para quem é

  1. 1Quem já usa Claude Code ou Codex no terminal e já ouviu "pronto, todos os testes passam" sem que passassem.
  2. 2Quem vai deixar um loop rodando sozinho e precisa de um juiz que o agente não consegue enganar.
  3. 3Quem quer comparar duas versões de um agente com número, não com impressão.

O que você sai fazendo

  1. 1Rodar um avaliador separado, que não lê o relato do agente e reprova o que só parece pronto.
  2. 2Congelar os testes e tudo o que o pytest lê, e pegar o agente que apaga, pula ou decora a resposta.
  3. 3Montar um conjunto de ouro com regressão e um juiz por modelo calibrado contra rótulos seus.
  4. 4Ler pass@k, pass^k, variância e benchmarks sem se enganar, e fechar com um portão em camadas.

Antes de começar

  1. 1Linux ou macOS com git, Python 3 e pytest. Os ensaios não chamam modelo nenhum.
  2. 2Claude Code ou Codex entrando pela sua assinatura, só para os passos marcados "real".
  3. 3Recomendado: o curso 0 (Base) para a escala de critério de pronto. O curso 2 (Execução Longa) usa este portão.