Operar e observar

Modo de observação significa que a nova etapa calcula uma sugestão, mas o fluxo anterior continua responsável pela decisão. Assim podemos comparar o comportamento com a operação real sem aplicar automaticamente os erros do piloto.

Registre concordâncias e desacordos. Revisar somente desacordos não basta, porque humano e modelo podem concordar numa resposta errada. Inspecione também uma amostra de concordâncias. Observe o volume de cada classe e as mensagens que não cabem na taxonomia.

Defina a saída dessa fase antes de começar. Precisão, cobertura, custo, tempo de revisão e ausência de falhas de integração podem fazer parte dos critérios. Se as metas não forem demonstradas, mantenha a observação ou encerre o teste. Automatizar porque “já está há uma semana rodando” não é um critério de qualidade.

Prática com os recursos atuais

Para experimentar sem chave na raiz do repo jev: python3 -m pacotes.executar reunioes; python3 -m pacotes.qualidade reunioes; python3 -m pacotes.lote reunioes data/reunioes-eventos.jsonl. Os dois primeiros usam dados e respostas simulados; o terceiro faz somente prévia. O roteiro complementar detalha a passagem a dados próprios.

Um piloto teve poucos eventos da classe cobrança. É suficiente liberar todas as filas?

Um log útil liga o evento à versão da pergunta, à política e ao modelo usado. Também registra tempo, tokens, resultado e eventual correção. Sem essas informações, é difícil saber se uma mudança de comportamento veio do modelo, do contexto ou de uma alteração no código.

Não confunda rastreabilidade com guardar tudo para sempre. Minimize dados, limite acesso e defina retenção conforme o ambiente real. Para relatórios públicos, use exemplos fictícios ou autorizados. Credenciais nunca entram no log.

Ao corrigir um erro, procure a menor proteção suficiente. Campo ausente pode pedir validação; duplicata pode pedir idempotência; loop pode pedir um teto; decisão incorreta pode pedir critérios mais claros e novo teste. A categoria da falha ajuda: qualidade do julgamento, preparação do contexto, contrato, rede ou política operacional.

Prática com os recursos atuais

Um lote pode usar de um a quatro workers e espaçar o início das consultas. Esse espaçamento não controla cada retry HTTP e não substitui um limite distribuído por tokens. Limite de eventos não é orçamento em dólares. Depois de retries, preserve custo desconhecido quando só o consumo da última resposta estiver disponível.

Um retry processa duas vezes o mesmo ticket. Reescrever a pergunta resolve?

Um alias de modelo pode apontar para uma nova versão sem mudar a sua requisição. Isso facilita atualizações, mas dificulta atribuir variação quando limiares foram ajustados para uma versão anterior. Registre o identificador resolvido e fixe versões nos experimentos que precisam ser reproduzidos.

Antes de trocar a versão em operação, rode o conjunto de avaliação e compare os erros. Uma média melhor pode esconder regressão numa classe importante. Se a política depender de confidence, verifique novamente os limiares e a cobertura.

Tenha uma forma simples de desativar a nova etapa e voltar ao fluxo anterior. O retorno não deve exigir reconstruir a aplicação. Critérios de suspensão incluem erro relevante, indisponibilidade persistente e custo inesperado. Atualizar é uma mudança controlada, não apenas substituir um nome na configuração.

Aprofundamento da versão 1.2.0

Para triagem de código, separe comentário correto de comentário útil. O classificador pode apontar um teste enfraquecido, mas testes e análise estática continuam necessários. Amostre também o que o filtro descartou para descobrir falsos negativos. Pratique no L10.

O que registrar para reproduzir uma decisão depois de uma atualização?