Verifique com evidências
Construa testes objetivos e rubricas que expliquem a avaliação editorial.
O que é
Uma checagem objetiva tem uma regra reprodutível: arquivo existe, soma reconcilia, campo obrigatório está presente. Uma avaliação editorial compara a saída a uma rubrica: clareza, relevância e adequação ao público. Um mesmo requisito pode combinar as duas.
Por que aprender
O vídeo usa a revisão como etapa central. Para aplicá-la bem, evite confundir “outro agente olhou” com prova factual. A contagem de imagens é verificável; a imagem realmente explicar uma ideia exige interpretação e evidência localizada.
Conceitos-chave
- Objetivo: regra e resultado observáveis.
- Editorial: critérios e exemplos ancorados.
- Híbrido: medida mais inspeção.
- Evidência: arquivo, trecho, captura ou teste.
O que é
Um teste útil deve falhar diante de um erro plausível. Se ele verifica apenas que o arquivo existe, um relatório vazio passa. No exemplo, compare o total, os canais, a quantidade de registros e o comportamento para entrada inválida.
Por que aprender
Testes derivados cegamente da implementação podem repetir o mesmo erro. Use pelo menos um resultado calculado por outro caminho: manualmente num caso pequeno, ou por uma regra independente. Verifique também saídas que não deveriam ser produzidas.
Conceitos-chave
- Asserção: condição esperada.
- Oráculo: fonte do resultado correto.
- Teste negativo: erro tratado.
- Independência: reduzir erro compartilhado.
O que é
Uma rubrica explica o que cada nível de qualidade significa. Use poucos critérios e descrições concretas. Para clareza, por exemplo, nível 0 é contraditório, 1 exige adivinhação, 2 é compreensível com revisão e 3 é direto e autossuficiente.
Por que aprender
Sem âncoras, dois avaliadores usam a mesma palavra para padrões diferentes. Uma nota alta isolada não ajuda a corrigir. Exija que a avaliação cite o trecho e proponha a menor alteração capaz de resolver o problema.
Conceitos-chave
- Critério: dimensão avaliada.
- Âncora: exemplo do nível.
- Trecho: localização da evidência.
- Correção: ação limitada e verificável.
O que é
Um LLM como juiz aplica critérios e aponta possíveis falhas. Ele pode interpretar linguagem e imagens, mas também deixar passar erros ou aprovar a própria hipótese. Uma segunda instância não garante independência do raciocínio.
Por que aprender
Separe a geração da avaliação e forneça ao avaliador contrato, entrada e saída. Quando possível, oculte qual configuração gerou cada versão. Confira uma amostra humana para calibrar se o juiz está de fato usando a rubrica.
Conceitos-chave
- Separação: revisão tem contexto e objetivo próprios.
- Cegamento: reduz preferência por rótulo.
- Calibração: comparar com julgamento humano.
- Limite: juiz não substitui fonte primária.
O que é
O relatório de qualidade conecta critério, resultado e evidência. “Tudo verificado” não informa o que foi aberto, calculado ou inspecionado. Uma boa entrega inclui também limitações e itens que ainda precisam de decisão.
Por que aprender
Esse documento reduz o trabalho de revisão humana porque direciona a atenção. Mas o próprio QA também pode estar errado: abra amostras das evidências e confira se o que foi descrito realmente ocorreu.
Conceitos-chave
- Status: passou, falhou ou não verificado.
- Evidência: referência localizável.
- Ação: correção ou pendência.
- Rastreabilidade: entrada e versão usadas.
O que é
O ciclo é produzir, verificar, corrigir e verificar novamente. Defina um teto de tentativas e uma condição de saída. No laboratório, use até duas rodadas de correção antes de relatar um bloqueio persistente para análise.
Por que aprender
Mais rodadas não implicam mais qualidade. O agente pode alternar entre duas soluções ou gastar recursos sem melhorar. Um teto torna o custo previsível e obriga a explicar o que falta, em vez de declarar vitória por exaustão.
Conceitos-chave
- Aceite: todos os bloqueantes passaram.
- Correção: foco na falha observada.
- Regressão: o que funcionava continua funcionando.
- Parada: limite ou dependência externa.