Separe checagens objetivas de julgamento
O que é
Uma checagem objetiva tem uma regra reprodutível: arquivo existe, soma reconcilia, campo obrigatório está presente. Uma avaliação editorial compara a saída a uma rubrica: clareza, relevância e adequação ao público. Um mesmo requisito pode combinar as duas.
Por que aprender
O vídeo usa a revisão como etapa central. Para aplicá-la bem, evite confundir “outro agente olhou” com prova factual. A contagem de imagens é verificável; a imagem realmente explicar uma ideia exige interpretação e evidência localizada.
Conceitos-chave
Objetivo: 4 registros e total 500,00.
Editorial: o resumo permite entender o principal achado.
Híbrido: tabela tem todos os canais e é legível no celular.
✓ Faça assim
Associe cada item a uma evidência concreta.
✗ Evite este erro
Classificar toda revisão visual como subjetiva; overflow é mensurável.
Pratique antes de revelar
“A imagem possui 1200 pixels de largura” prova que ela é adequada?
Ver resposta comentada
Não. É uma propriedade objetiva, mas não demonstra relevância nem legibilidade do conteúdo. Você ainda precisa avaliar o recorte e o contexto.
Construa testes que possam reprovar
O que é
Um teste útil deve falhar diante de um erro plausível. Se ele verifica apenas que o arquivo existe, um relatório vazio passa. No exemplo, compare o total, os canais, a quantidade de registros e o comportamento para entrada inválida.
Por que aprender
Testes derivados cegamente da implementação podem repetir o mesmo erro. Use pelo menos um resultado calculado por outro caminho: manualmente num caso pequeno, ou por uma regra independente. Verifique também saídas que não deveriam ser produzidas.
Conceitos-chave
assert total == "500.00"
assert canais == {"Loja": "320.00", "Site": "180.00"}
assert registros == 4
# Entrada sem coluna: código de saída != 0
# E nenhum relatorio.md novo deve aparecer.
Do conceito à ação
- Entrada conhecida: identificar a condição inicial.
- Execução: aplicar a decisão descrita.
- Comparar com oráculo: conferir o efeito no exemplo.
- Passa ou falha: registrar a evidência de saída.
✓ Faça assim
Introduza um erro de propósito para conferir se o teste acusa.
✗ Evite este erro
Usar “o script rodou” como único critério de qualidade.
Pratique antes de revelar
Se os totais por canal somam 490 e o total mostra 500, o que falhou?
Ver resposta comentada
A reconciliação. Mesmo que cada campo esteja presente, os números não são consistentes. A saída precisa ser corrigida antes de ser aceita.
Escreva uma rubrica editorial com âncoras
O que é
Uma rubrica explica o que cada nível de qualidade significa. Use poucos critérios e descrições concretas. Para clareza, por exemplo, nível 0 é contraditório, 1 exige adivinhação, 2 é compreensível com revisão e 3 é direto e autossuficiente.
Por que aprender
Sem âncoras, dois avaliadores usam a mesma palavra para padrões diferentes. Uma nota alta isolada não ajuda a corrigir. Exija que a avaliação cite o trecho e proponha a menor alteração capaz de resolver o problema.
Conceitos-chave
Relevância da imagem
0: contradiz o texto.
1: é do vídeo, mas não ilustra a afirmação.
2: ilustra, mas precisa de legenda adicional.
3: ilustra com contexto e detalhe legível.
✓ Faça assim
Peça justificativa por critério, com exemplo da própria saída.
✗ Evite este erro
Pedir apenas “dê uma nota de 0 a 10”.
Pratique antes de revelar
Dê uma âncora de falha para o critério “fidelidade ao dado”.
Ver resposta comentada
“Qualquer número ou causa apresentada sem suporte na entrada é falha bloqueante.” Algumas dimensões não devem ser compensadas por média com estilo.
Use um avaliador sem terceirizar a verdade
O que é
Um LLM como juiz aplica critérios e aponta possíveis falhas. Ele pode interpretar linguagem e imagens, mas também deixar passar erros ou aprovar a própria hipótese. Uma segunda instância não garante independência do raciocínio.
Por que aprender
Separe a geração da avaliação e forneça ao avaliador contrato, entrada e saída. Quando possível, oculte qual configuração gerou cada versão. Confira uma amostra humana para calibrar se o juiz está de fato usando a rubrica.
Conceitos-chave
Avalie esta saída contra a rubrica fornecida.
Para cada falha, cite o trecho, o critério e a evidência.
Não presuma que o relatório de QA anterior está correto.
Se não conseguir verificar um item, marque “não verificado”.
✓ Faça assim
Peça que o juiz procure contradições e informação ausente.
✗ Evite este erro
Solicitar que o juiz “confirme que está perfeito”.
Pratique antes de revelar
Como reduzir a influência do nome do modelo na comparação?
Ver resposta comentada
Apresente versões A e B com ordem alternada e a mesma rubrica. Guarde a correspondência com os modelos separadamente até a avaliação terminar.
Produza um relatório de QA útil
O que é
O relatório de qualidade conecta critério, resultado e evidência. “Tudo verificado” não informa o que foi aberto, calculado ou inspecionado. Uma boa entrega inclui também limitações e itens que ainda precisam de decisão.
Por que aprender
Esse documento reduz o trabalho de revisão humana porque direciona a atenção. Mas o próprio QA também pode estar errado: abra amostras das evidências e confira se o que foi descrito realmente ocorreu.
Conceitos-chave
Critério: soma total
Status: passou
Esperado: 500,00 | obtido: 500,00
Evidência: dados/vendas.csv, quatro linhas
Limitação: não houve conciliação com um sistema externo.
Do conceito à ação
- Critério: identificar a condição inicial.
- Resultado: aplicar a decisão descrita.
- Evidência: conferir o efeito no exemplo.
- Limitação: registrar a evidência de saída.
✓ Faça assim
Registre o comando ou método de verificação.
✗ Evite este erro
Dizer que abriu o navegador sem ter usado uma ferramenta de navegação.
Pratique antes de revelar
Escreva o status de uma revisão visual quando só o HTML foi inspecionado.
Ver resposta comentada
“Não verificado visualmente; estrutura HTML inspecionada, renderização pendente.” O relato deve distinguir o que foi observado do que foi inferido.
Feche um ciclo de revisão com limite
O que é
O ciclo é produzir, verificar, corrigir e verificar novamente. Defina um teto de tentativas e uma condição de saída. No laboratório, use até duas rodadas de correção antes de relatar um bloqueio persistente para análise.
Por que aprender
Mais rodadas não implicam mais qualidade. O agente pode alternar entre duas soluções ou gastar recursos sem melhorar. Um teto torna o custo previsível e obriga a explicar o que falta, em vez de declarar vitória por exaustão.
Conceitos-chave
Rodada 1: total correto, período ausente → corrigir cabeçalho.
Rodada 2: conferir período e repetir teste de soma.
Persistiu a falha? Entregar diagnóstico e evidências.
Não marcar como aprovado.
✓ Faça assim
Execute a checagem novamente após a correção.
✗ Evite este erro
Editar a saída e reutilizar um QA anterior à mudança.
Pratique antes de revelar
O relatório mudou depois da verificação. O QA continua válido?
Ver resposta comentada
Só para partes comprovadamente não afetadas. A entrega final precisa ter sido verificada no estado final, especialmente nos critérios ligados à alteração.
Confira seu entendimento
Um segundo agente diz “está correto”. Isso prova os fatos?
O que você leva deste módulo
Escrever uma rubrica e um relatório de QA rastreável.
- Separe checagens objetivas de julgamento.
- Construa testes que possam reprovar.
- Escreva uma rubrica editorial com âncoras.
- Use um avaliador sem terceirizar a verdade.
- Produza um relatório de QA útil.
- Feche um ciclo de revisão com limite.
Próxima ação: guarde o exercício no seu laboratório e registre o que ainda precisa de revisão.