As três primitivas
Escreva perguntas que possam ser avaliadas.
- Choice: uma alternativa por pergunta
- Score: uma escala ordinal
- Noul: a força de uma afirmação
- Confiança não é probabilidade de acerto
- O contrato JSON antes do modelo
- Exercício: formule e rotule
Choice: uma alternativa por pergunta
O que é
Choice retorna a alternativa com maior valor na distribuição e as probabilidades das opções. Neste projeto, billing cobre pagamentos, technical cobre problemas do produto, sales cobre novas compras e other recebe casos sem encaixe. As descrições acompanham os nomes no prompt interno do encoder.
Por que aprender
Nomes curtos com descrições claras ajudam a distinguir classes sem consumir todo o orçamento de tokens. Se você precisa atribuir vários rótulos independentes, uma única escolha obrigatória não expressa o problema; considere perguntas binárias separadas e avalie cada uma.
Uma mensagem sobre erro de login corresponde a technical, enquanto um pedido de segunda via da fatura corresponde a billing.
✓ Aplicar com critério
Use duas perguntas noul independentes. Choice é adequado para selecionar um destino principal, não para representar todos os sinais de uma mensagem.
✗ Evitar a conclusão automática
Como classificar simultaneamente reembolso e ameaça de cancelar?
Não aceite uma resposta só pelo nome do campo ou pela aparência de precisão. Confira a definição e o contexto desta seção.
Conceitos-chave
maior valor
conjunto de probabilidades
descrição da classe
opção other
Teste sua compreensão
Como classificar simultaneamente reembolso e ameaça de cancelar?
Conferir resposta comentada
Use duas perguntas noul independentes. Choice é adequado para selecionar um destino principal, não para representar todos os sinais de uma mensagem.
Score: uma escala ordinal
O que é
Score usa uma lista ordenada de níveis. O retorno é a expectativa da distribuição sobre os índices: com níveis 0, 1 e 2, pode aparecer 1,84. Isso não representa uma classe nova nem um prazo em horas. A legenda deve explicar o que cada degrau significa para a operação.
Por que aprender
Uma escala só faz sentido quando os níveis têm ordem e critérios distinguíveis. Normal, sensível ao tempo e bloqueio imediato são uma rubrica inicial. O upstream aponta score como uma primitiva difícil; não transforme uma diferença pequena no decimal em decisão irreversível.
Com probabilidades 0,10; 0,30; 0,60, o score é 0×0,10 + 1×0,30 + 2×0,60 = 1,50.
-
1
Observe
Com probabilidades 0,10; 0,30; 0,60, o score é 0×0,10 + 1×0,30 + 2×0,60 = 1,50.
-
2
Defina
Score usa uma lista ordenada de níveis.
-
3
Confira
Não. É uma média que pode vir de distribuições diferentes. Consulte as probabilidades por nível e o texto antes de definir a prioridade.
Conceitos-chave
níveis ordenados
média ponderada
sentido dos níveis
erro absoluto médio
Teste sua compreensão
Um score 1,5 prova que a ocorrência é crítica?
Conferir resposta comentada
Não. É uma média que pode vir de distribuições diferentes. Consulte as probabilidades por nível e o texto antes de definir a prioridade.
Noul: a força de uma afirmação
O que é
Noul responde a uma afirmação com um valor entre zero e um. A pergunta deve ser observável no estado: o cliente pede dinheiro de volta? O cliente ameaça cancelar? A implementação usa opções false e true e devolve a probabilidade de true. Não é uma autorização para agir.
Por que aprender
Perguntas sobre intenção explícita são mais fáceis de rotular do que previsões vagas sobre comportamento futuro. Churn_risk neste laboratório significa ameaça textual de cancelamento; não foi treinado nem validado aqui para prever cancelamentos reais ao longo de meses.
Quero meu dinheiro de volta contém pedido explícito. Estou insatisfeito não afirma necessariamente que a pessoa vai cancelar.
Exemplo de raciocínio
"department": {
"type": "choice",
"instructions": "Which department handles this message?",
"criteria": {"billing": "payments and refunds",
"technical": "bugs and outages",
"sales": "new purchases",
"other": "unrelated or insufficient information"}
}
Conceitos-chave
proposição
probabilidade modelada
frase observada
corte operacional
Teste sua compreensão
O nome churn_risk basta para tornar o valor uma previsão comercial?
Conferir resposta comentada
Não. A definição da pergunta restringe o significado: sinal de ameaça explícita. Prever churn real exigiria outro conjunto de dados e validação longitudinal.
Confiança não é probabilidade de acerto
O que é
No SDK analisado, a confiança de choice e score é 1 menos a entropia normalizada da distribuição. Distribuições concentradas produzem valores altos; distribuições espalhadas produzem valores baixos. Noul usa o maior valor entre P(true) e P(false). Esses campos não compartilham exatamente a mesma definição.
Por que aprender
Não calcule ECE usando um campo chamado confidence sem verificar o código. Para avaliação de classificação, o projeto utiliza a probabilidade da classe escolhida. Mesmo esse valor precisa ser confrontado com a frequência real de acertos em dados separados.
Uma distribuição muito concentrada na opção errada terá confiança alta. Um checkpoint inadequado ao idioma pode errar dessa forma.
✓ Aplicar com critério
Não. Pela fórmula de entropia normalizada, a confiança é zero. A maior probabilidade continua sendo 0,5; são medidas diferentes.
✗ Evitar a conclusão automática
Duas classes com 0,5 cada têm confiança choice de 0,5?
Não aceite uma resposta só pelo nome do campo ou pela aparência de precisão. Confira a definição e o contexto desta seção.
Conceitos-chave
dispersão
maior probabilidade
frequência versus previsão
certeza interna
Teste sua compreensão
Duas classes com 0,5 cada têm confiança choice de 0,5?
Conferir resposta comentada
Não. Pela fórmula de entropia normalizada, a confiança é zero. A maior probabilidade continua sendo 0,5; são medidas diferentes.
O contrato JSON antes do modelo
O que é
O esquema contém identificadores estáveis, type, instructions e criteria quando necessário. Choice usa um dicionário; score usa lista ordenada; noul pode usar uma afirmação sem critérios extras. Manter identificadores estáveis preserva os consumidores da API quando a redação melhora.
Por que aprender
Valide os resultados antes da política: as classes devem ser conhecidas, os valores finitos e as probabilidades aproximadamente somar um. O arredondamento do SDK exige pequena tolerância. Entradas inválidas devem gerar erro visível, não uma resposta que pareça ter sido calculada.
Uma resposta com NaN, departamento desconhecido ou distribuição incompleta é rejeitada pela adaptação.
Conceitos-chave
formato estável
checagem de dados
arredondamento
código que lê saída
Teste sua compreensão
Por que não aceitar silenciosamente uma categoria nova?
Conferir resposta comentada
Ela pode não ter destino definido. É necessário atualizar esquema, política, interface e testes juntos antes de usar a nova categoria.
Exercício: formule e rotule
O que é
Escreva seis mensagens de atendimento e responda manualmente às quatro perguntas. Inclua cobrança, falha técnica, nova compra, conversa irrelevante, cancelamento explícito e insatisfação sem cancelamento. Peça a outra pessoa para aplicar a mesma rubrica sem ver suas respostas.
Por que aprender
Discordâncias entre humanos mostram onde a pergunta ou a rubrica precisa melhorar. Não use o modelo para decidir automaticamente qual humano está certo. Registre a regra adotada e preserve alguns exemplos que não serão usados durante o ajuste das perguntas.
Caso ambíguo: o sistema caiu e quero reembolso. O destino principal depende da regra; o sinal refund_requested pode ser positivo independentemente dele.
Conceitos-chave
resposta humana
múltiplas leituras
acordo documentado
exemplos não ajustados
Teste sua compreensão
O que deve acompanhar cada exemplo rotulado?
Conferir resposta comentada
Um identificador, a mensagem, o rótulo esperado e, em um dataset próprio, a justificativa e a versão da rubrica. Remova dados pessoais desnecessários.
Resumo do módulo
- Use duas perguntas noul independentes. Choice é adequado para selecionar um destino principal, não para representar todos os sinais de uma mensagem.
- Não. A definição da pergunta restringe o significado: sinal de ameaça explícita. Prever churn real exigiria outro conjunto de dados e validação longitudinal.
- Ela pode não ter destino definido. É necessário atualizar esquema, política, interface e testes juntos antes de usar a nova categoria.
Selecione um trecho da aula para destacar ou anotar. Dúvidas e notas ficam na sua jornada; exporte o JSON para fazer backup.