MÓDULO 1 - FUNDAMENTOS

🔤 Tokens e Janela de Contexto

Tokens são as unidades básicas que LLMs processam - não são palavras, mas pedaços de texto. Entender tokens é essencial para saber os limites do que você pode fazer.

~4
Caracteres/Token
200K
Claude Context
1.3x
Palavras → Tokens (PT)
🧩

O que são Tokens?

A unidade básica de processamento de LLMs

Tokens são como o LLM "lê" texto. Uma palavra pode ser 1 token ou vários tokens. O modelo não processa caracteres individuais nem palavras completas - processa tokens.

📝 Exemplos de Tokenização

"Olá"

= 1 token

"Brasília"

= 2 tokens (Bras + ília)

"ChatGPT"

= 2 tokens (Chat + GPT)

"Inteligência Artificial"

= 4-5 tokens

📏 Regra Geral

~4 caracteres = 1 token em português. Espaços e pontuação também contam!

🤔 Por que Tokens Importam?

🚫

Limites Físicos

Se ultrapassar o context window, o modelo não funciona

💰

Custo

APIs cobram por token - tanto input quanto output

⚡

Performance

Prompts muito longos podem afetar qualidade e velocidade

📦

Context Window (Janela de Contexto)

O limite máximo de tokens que o modelo processa

O "context window" é a quantidade máxima de tokens que o modelo pode processar de uma vez. Tudo precisa caber nesse limite - seu prompt, histórico e a resposta.

📊 Tamanhos por Modelo (2025)

C

Claude 3.5 Sonnet

Anthropic

200.000 tokens

~150.000 palavras

G

GPT-4 Turbo

OpenAI

128.000 tokens

~96.000 palavras

G

Gemini 1.5 Pro

Google

1.000.000 tokens

~750.000 palavras

📋 O que Conta no Context Window?

  • ✓ Seu prompt atual
  • ✓ Todo o histórico da conversa
  • ✓ A resposta do modelo
  • ✓ Exemplos e contexto fornecidos
🧮

Calculando Tokens na Prática

Aprenda a estimar se seu conteúdo cabe

✅ Exemplo: Texto Curto

Texto de 1.000 palavras em português

≈ 1.300 tokens

Se o limite é 4.000 tokens:

  • • Seu texto: 1.300 tokens
  • • Sua pergunta: ~50 tokens
  • • Resposta esperada: ~500 tokens
  • • Total: ~1.850 tokens ✅ Cabe!

❌ Exemplo: Documento Grande

Documento de 50.000 palavras

≈ 65.000 tokens

Se o limite é 16.000 tokens (GPT-3.5):

❌ NÃO CABE!

💡 Soluções:

  1. 1. Use modelo com context window maior (Claude, Gemini)
  2. 2. Divida o documento em partes menores
  3. 3. Resuma primeiro, depois analise o resumo
⭐

Dicas Práticas

Otimize seu uso de tokens

💡 Use ferramentas como tiktoken (OpenAI) para contar tokens exatos antes de enviar.
💡 Para português, estime 1.3x o número de palavras para ter uma aproximação de tokens.
💡 Deixe sempre 20-30% de margem para a resposta - não use 100% do contexto com seu prompt.
💡 Se estourar o limite, divida em partes menores ou use técnicas de resumo progressivo.
💡 Lembre-se: o histórico da conversa também conta - conversas longas consomem contexto.
⚠️

Erros Comuns

O que evitar com tokens

❌ Ignorar contagem de tokens

Exemplo: Colar documento gigante sem verificar se cabe

✓ Solução: Sempre estime tokens antes de enviar. Use ferramentas de contagem.

❌ Usar todo o context window

Exemplo: Prompt de 15.900 tokens em modelo de 16k

✓ Solução: Deixe pelo menos 20-30% para a resposta do modelo.

🚀 Próximo Passo

Agora que você entende tokens, aprenda a Anatomia de um Prompt para estruturar suas instruções de forma eficaz!

Ir para Anatomia