MODULO 1.5

🎲 Temperature e Top P

Entenda como esses parametros controlam a "criatividade" do modelo e quando usar cada configuracao para obter resultados otimos.

6
Topicos
20
Minutos
Basico
Nivel
Teoria
Tipo
1

🎯 O que e Temperature?

Muita gente diz que temperature e um "controle de criatividade". Isso e parcialmente verdade, mas tecnicamente, temperature controla a selecao de tokens - quao "aventureiro" o modelo sera ao escolher a proxima palavra.

💡 Conceito Tecnico

Imagine a frase: "O cachorro estava correndo no campo e..."

Palavras provaveis: latiu, brincou, pulou (alta probabilidade)
Palavras improvaveis: cozinhou, digitou, voou (baixa probabilidade)

  • Temperature 0: Sempre escolhe a palavra mais provavel (deterministico)
  • Temperature 1-2: Pode escolher palavras menos provaveis (mais "criativo")

📊 A Evolucao do Conceito

Claude recentemente introduziu treinamento para ser naturalmente mais criativo na selecao de tokens, nao dependendo apenas de temperature. Isso significa que mesmo com temperature baixa, o output tende a ser menos formulaico do que em modelos anteriores.

2

📊 Ranges de Temperature

A escala de temperature varia por modelo, mas geralmente vai de 0 a 2. Cada range e otimizado para diferentes tipos de tarefas.

Range Comportamento Casos de Uso
0 - 0.3 Deterministico, previsivel Codigo, Q&A factual, analise de dados
0.3 - 0.7 Balanceado Emails, conteudo geral, explicacoes
0.7 - 1.0 Criativo, variado Marketing, brainstorm, copy
1.0 - 2.0 Altamente criativo/aleatorio Poesia, arte, experimentacao

🧊 Baixa (0-0.3)

  • • Geracao de codigo
  • • Q&A factual
  • • Problemas logicos

⚖️ Media (0.5-0.8)

  • • Conteudo geral
  • • Respostas balanceadas
  • • Emails profissionais

🔥 Alta (1.0-2.0)

  • • Brainstorming
  • • Criatividade
  • • Poesia e arte
3

⚠️ Top P - O Parametro Esquecido

Top P (tambem chamado de nucleus sampling) e outro parametro que afeta a selecao de tokens. Ele funciona de forma similar a temperature, mas com uma logica diferente.

🚨 Recomendacao Importante

Nao mexa no Top P a menos que voce realmente saiba o que esta fazendo. Ajustar temperature E top P ao mesmo tempo pode criar resultados imprevisiveis e aumentar drasticamente as hallucinations.

Se voce quer experimentar com selecao de tokens, use apenas temperature. Deixe top P no valor padrao (geralmente 1).

💡 Como Top P Funciona (Resumo)

Top P define o "pool" de tokens que o modelo considera. Com top_p=0.9, o modelo so considera tokens que juntos somam 90% da probabilidade total.

  • Top P baixo (0.1): Pool muito restrito, muito deterministico
  • Top P alto (1.0): Pool completo, considera todos os tokens
4

🔬 Testando com Diferentes Temperatures

Uma pratica comum no prompt engineering profissional e testar variacoes do mesmo prompt com diferentes temperatures para encontrar o sweet spot.

🎯 Metodologia de Teste

1 Pegue 5-10 variacoes do mesmo prompt
2 Teste cada um com temperatures: 0.2, 0.5, 0.8
3 Teste em diferentes modelos da mesma familia (ex: Claude 3.5, 3.7, Haiku)
4 Compare resultados e identifique a configuracao mais consistente

💡 Por que Testar?

Isso ajuda a combater o prompt drift - o fenomeno onde um prompt que funcionava perfeitamente para de funcionar depois de updates no modelo. Ao encontrar uma configuracao robusta, voce minimiza a necessidade de retrabalho futuro.

5

🎨 Combinando Temperature com Tecnicas

Temperature pode ser combinada com outras tecnicas de prompting para resultados ainda mais interessantes.

🌳 Tree of Thought + Alta Temp

Uma combinacao poderosa para criatividade

Tree of Thought ja incentiva pensamento nao-linear. Combinado com temperature 1.0-2.0, voce pode obter resultados surpreendentemente criativos e nao-obvios.

Uso: Brainstorming, geracao de ideias, exploracao criativa

⛓️ Chain of Thought + Baixa Temp

Para raciocinio preciso e confiavel

Chain of Thought precisa de consistencia logica. Temperature baixa (0.2-0.5) garante que cada passo do raciocinio seja solido e previsivel.

Uso: Problemas matematicos, analise logica, debugging

⚠️ Cuidado: Experimental

Combinacoes como Tree of Thought com alta temperature sao experimentais e nao devem ser usadas em producao sem validacao extensiva. Otimo para explorar ideias, mas os resultados podem variar muito.

6

🔧 Exercicio Pratico

Vamos experimentar com temperature para ver na pratica como ela afeta os resultados.

📝 Desafio: Comparacao de Temperature

Prompt de teste:

Escreva 3 slogans criativos para uma cafeteria hipster chamada "Grao Urbano"

Tarefa: Execute este prompt 3 vezes com cada temperature:

  1. Temperature 0.2 (3 execucoes)
  2. Temperature 0.7 (3 execucoes)
  3. Temperature 1.5 (3 execucoes)

Observe:

  • Quao similares sao os resultados entre execucoes?
  • Qual temperatura gera os slogans mais criativos?
  • Qual gera os mais coerentes/utilizaveis?

💡 Resultado Esperado

Temp 0.2: Resultados quase identicos, seguros mas previsiveis.
Temp 0.7: Variedade moderada, bom equilibrio.
Temp 1.5: Resultados bem diferentes, alguns otimos, alguns estranhos.

📋 Resumo do Modulo

Temperature - Controla a selecao de tokens (0 = deterministico, 2 = criativo)
Top P - Evite mexer; deixe no padrao
0.2-0.5 - Codigo, Q&A, tarefas que precisam de consistencia
0.5-0.8 - Conteudo geral, emails, documentacao
1.0+ - Brainstorming, criatividade, experimentacao

Proximo Modulo:

1.6 - Sensibilidade de Prompts: como pequenas mudancas causam grandes impactos