Especialização e projeto final
Defina quando evoluir e quando parar.
- Comece pelo erro que importa
- Construa dados com separação clara
- O notebook de treinamento é uma referência
- RLCD e regras de pontuação
- Operação gradual e reversível
- Entrega final: uma decisão explicável pelo processo
Comece pelo erro que importa
O que é
Fine-tuning tem custo e só faz sentido quando os erros encontrados justificam mudar o modelo. Alguns problemas vêm de categorias ambíguas, estado incompleto ou checkpoint inadequado. Corrigir essas causas pode ser mais barato e mais eficaz que treinar uma rede nova.
Por que aprender
Classifique erros antes de agir: erro de rótulo humano, de esquema, de contexto, de idioma ou de capacidade. Preserve exemplos e condições de execução. Depois escolha uma intervenção pequena e compare novamente, sem alterar várias variáveis ao mesmo tempo.
Se o estado não contém o pedido final, ampliar treinamento não recupera informação ausente.
✓ Aplicar com critério
Um contrato operacional ambíguo ou informação ausente. Primeiro defina o resultado desejado e forneça os fatos necessários.
✗ Evitar a conclusão automática
Qual problema de triagem não se resolve apenas com fine-tuning?
Não aceite uma resposta só pelo nome do campo ou pela aparência de precisão. Confira a definição e o contexto desta seção.
Conceitos-chave
causa provável
mudança controlada
aprendizado necessário
esforço total
Teste sua compreensão
Qual problema de triagem não se resolve apenas com fine-tuning?
Conferir resposta comentada
Um contrato operacional ambíguo ou informação ausente. Primeiro defina o resultado desejado e forneça os fatos necessários.
Construa dados com separação clara
O que é
Um dataset de domínio precisa representar linguagem, frequência de classes e casos difíceis da operação. Separe treino, calibração e teste por grupos que evitem vazamento, como conversa ou cliente. Mensagens quase duplicadas em partes diferentes podem inflar resultados.
Por que aprender
Registre versão da rubrica e processo de rotulagem. Quando o rótulo vier de um modelo professor, trate-o como supervisão imperfeita. A concordância com o professor mede alinhamento com essa referência, não verdade universal nem qualidade garantida para clientes reais.
Uma conversa com cinco mensagens deve permanecer no mesmo split, para que o teste não revele apenas trechos já vistos.
-
1
Observe
Uma conversa com cinco mensagens deve permanecer no mesmo split, para que o teste não revele apenas trechos já vistos.
-
2
Defina
Um dataset de domínio precisa representar linguagem, frequência de classes e casos difíceis da operação.
-
3
Confira
Mensagens da mesma conversa ou duplicatas podem aparecer em treino e teste, tornando o teste artificialmente fácil.
Conceitos-chave
partição
unidade de separação
fonte de rótulos
informação compartilhada
Teste sua compreensão
Por que dividir aleatoriamente cada mensagem pode ser inadequado?
Conferir resposta comentada
Mensagens da mesma conversa ou duplicatas podem aparecer em treino e teste, tornando o teste artificialmente fácil.
O notebook de treinamento é uma referência
O que é
O repositório inclui um notebook de fine-tuning para typed-decisions em duas GPUs T4. Ele prepara dados, treina, ajusta temperaturas e avalia. O tempo publicado é uma observação do autor para aquele ambiente e configuração, não uma estimativa garantida para sua máquina ou dataset.
Por que aprender
Leia as células, checkpoints de saída e destino de publicação antes de executar. O curso não roda esse treinamento automaticamente nem anuncia um modelo treinado. O checkpoint usado no laboratório é o multilingual disponibilizado pelo upstream.
O notebook está em notebooks/laya_finetune_typed_decisions_2xT4_kaggle.ipynb no repositório prático.
Exemplo de raciocínio
# Plano de experimento — não executa treinamento.
1. Versionar rubrica e exemplos
2. Separar treino / calibração / teste por conversa
3. Medir baseline e modelo atual
4. Ajustar somente no conjunto permitido
5. Avaliar teste reservado
6. Aprovar ou rejeitar a versão com critérios prévios
Conceitos-chave
execução por células
passagem pelos dados
pesos novos
etapa separada
Teste sua compreensão
Este curso entrega um fine-tuning já feito para o seu negócio?
Conferir resposta comentada
Não. Entrega o runtime adaptado, avaliação didática e roteiro de evolução. Treinar para um negócio exige dados e validação específicos.
RLCD e regras de pontuação
O que é
O trabalho usa recompensas baseadas em distribuições, incluindo componentes logarítmico e esférico e um termo ordinal para score. A ideia é premiar probabilidades úteis, e não apenas o rótulo vencedor. A implementação concreta também possui aproximações e detalhes que devem ser lidos no código.
Por que aprender
Uma função de treino com propriedades desejáveis não garante calibração após treinamento finito ou mudança de domínio. Não apresente a matemática como dispensa de teste. As próprias fichas dos modelos registram excesso de confiança e necessidade de ajustar temperaturas.
Aprender uma distribuição e avaliar sua qualidade são etapas distintas; o resultado empírico pode contrariar a expectativa teórica.
✓ Aplicar com critério
Não por si só. Capacidade, otimização, amostra e distribuição de uso influenciam o resultado; a calibração precisa ser verificada empiricamente.
✗ Evitar a conclusão automática
A escolha de uma regra própria garante que 90% previsto seja 90% real?
Não aceite uma resposta só pelo nome do campo ou pela aparência de precisão. Confira a definição e o contexto desta seção.
Conceitos-chave
incentivo probabilístico
sinal de treino
distância entre níveis
novos dados
Teste sua compreensão
A escolha de uma regra própria garante que 90% previsto seja 90% real?
Conferir resposta comentada
Não por si só. Capacidade, otimização, amostra e distribuição de uso influenciam o resultado; a calibração precisa ser verificada empiricamente.
Operação gradual e reversível
O que é
Uma evolução razoável começa em modo sombra: o modelo recomenda, humanos decidem e divergências são analisadas. Depois, uma organização pode aprovar ações simples e reversíveis em escopo estreito, mantendo registro e retorno à fila manual. Isso é um plano de evolução, não uma automação já implementada.
Por que aprender
Defina métricas e critérios de parada antes do piloto. Uma subida de erros numa categoria rara pode importar mais que estabilidade da média. Mantenha versões do esquema, checkpoint e política juntas para reproduzir e desfazer mudanças quando necessário.
Se um novo produto muda o sentido de cobrança, a distribuição pode mudar. Reavalie com dados recentes antes de manter o mesmo limiar.
Conceitos-chave
sem ação
mudança dos dados
volta de versão
limite definido
Teste sua compreensão
O que monitorar além da acurácia média?
Conferir resposta comentada
Erros por classe, entradas recusadas, indisponibilidade, latência, cobertura de revisão e mudanças na distribuição dos tickets.
Entrega final: uma decisão explicável pelo processo
O que é
Entregue o projeto funcionando, contrato das quatro perguntas, dataset versionado, relatório de inferência e análise de limitações. Explique por que o checkpoint foi escolhido, como a entrada é validada e onde a responsabilidade humana permanece. O processo deve permitir entender a decisão mesmo sem uma justificativa textual gerada pelo modelo.
Por que aprender
Compare três exemplos: um claro, um ambíguo e um fora do domínio. Para cada um, apresente rótulo esperado, distribuição recebida, política e conclusão humana. Essa entrega demonstra domínio da arquitetura sem prometer uma inteligência universal nem esconder falhas.
O avaliador deve conseguir instalar, repetir o comando, encontrar o resultado e identificar o próximo experimento necessário.
Conceitos-chave
repetir
encontrar origem
fronteira conhecida
hipótese
Teste sua compreensão
Qual é o critério de conclusão do curso?
Conferir resposta comentada
Você consegue executar pesos reais, interpretar choice/score/noul, avaliar uma amostra, distinguir benchmark de promessa e desenhar uma integração com permissões separadas do modelo.
Resumo do módulo
- Um contrato operacional ambíguo ou informação ausente. Primeiro defina o resultado desejado e forneça os fatos necessários.
- Não. Entrega o runtime adaptado, avaliação didática e roteiro de evolução. Treinar para um negócio exige dados e validação específicos.
- Erros por classe, entradas recusadas, indisponibilidade, latência, cobertura de revisão e mudanças na distribuição dos tickets.
Selecione um trecho da aula para destacar ou anotar. Dúvidas e notas ficam na sua jornada; exporte o JSON para fazer backup.