Módulo 2B.1: Anatomia de LLMs - Como Funcionam Por Dentro

**Nível 2B: Técnico Carga Horária: 15 horas**

📖 Visão Geral

Entenda a arquitetura interna de Large Language Models. Domine conceitos de transformers, attention mechanisms, tokenização e embeddings. Saiba como modelos “pensam” para usar com mais eficácia.

Objetivos:

  • Compreender arquitetura Transformer (não precisa codificar)
  • Explicar como funciona self-attention e embeddings
  • Entender limitações técnicas (contexto, alucinações, vieses)
  • Comparar diferentes LLMs (GPT, Claude, Gemini, LLaMA)
  • Tomar decisões informadas sobre qual modelo usar quando

🧠 De Redes Neurais a Transformers

Evolução Histórica:

1. Perceptron (1958) → Redes Neurais Simples

Input → [Camada de neurônios] → Output
Limitação: Só funções lineares

2. Deep Learning (2010s) → CNNs, RNNs

CNNs: Boas para imagens (convolução espacial)
RNNs: Boas para sequências (memória temporal)
Limitação: RNNs não escalam (vanishing gradient)

3. Attention Mechanism (2017) → Transformers

"Attention is All You Need" (Vaswani et al)
Ideia: Focar em partes relevantes do input
Resultado: Escala para bilhões de parâmetros

Por que Transformers Dominam:

✅ Paralelização: Processa texto todo de uma vez (vs RNN sequencial) ✅ Long-range dependencies: Conecta palavras distantes no texto ✅ Escalabilidade: Mais dados + mais parâmetros = melhor performance ✅ Transfer learning: Pré-treino geral + fine-tune específico

🔍 Arquitetura Transformer (Simplificada)

Componentes Principais: 

INPUT: "O gato está no telhado"
   ↓
[1. TOKENIZAÇÃO]
   → ["O", "gato", "está", "no", "tel", "hado"]
   ↓
[2. EMBEDDING]
   → Cada token vira vetor de 768-12288 dimensões
   ↓
[3. POSITIONAL ENCODING]
   → Adiciona informação de ordem (palavra 1, 2, 3...)
   ↓
[4. SELF-ATTENTION] (🔑 Magia acontece aqui)
   → Cada palavra "olha" para todas as outras
   → Identifica relações: "gato" se relaciona com "telhado"
   ↓
[5. FEED-FORWARD]
   → Transformações não-lineares
   ↓
[6. REPETIR 4-5] (12-96 vezes, dependendo do modelo)
   ↓
[7. OUTPUT]
   → Probabilidades para próxima palavra
   → Ex: "O gato está no telhado [comendo: 0.3, dormindo: 0.5, ...]"

💡 Self-Attention: O Coração do Transformer

Como Funciona (Analogia):

Imagine uma sala de aula onde cada aluno (palavra) pode fazer perguntas para todos os outros:

Frase: “O professor explica IA para alunos interessados”

Self-Attention calcula:

  • “professor” deveria prestar atenção em: “explica” (0.8), “alunos” (0.6), “IA” (0.7)
  • “alunos” deveria prestar atenção em: “interessados” (0.9), “professor” (0.5)
  • “interessados” deveria prestar atenção em: “alunos” (0.95), “IA” (0.4)

Resultado: Modelo entende que “interessados” modifica “alunos”, não “professor”

Matematicamente (Conceitual): 

Para cada palavra:
1. Query (Q): "O que eu estou procurando?"
2. Key (K): "O que eu tenho a oferecer?"
3. Value (V): "Qual informação eu carrego?"

Attention Score = Similarity(Q, K)
Output = Weighted sum of Values

Exemplo:
Palavra "gato" (Query) procura sujeitos de ação
Palavra "pulou" (Key) oferece "sou um verbo"
Score alto → "gato" presta atenção em "pulou"

Multi-Head Attention:

Ao invés de 1 mecanismo de atenção, usa 8-96 em paralelo:

  • Head 1: Foca em sintaxe (sujeito-verbo-objeto)
  • Head 2: Foca em semântica (significado)
  • Head 3: Foca em contexto longo
  • Head 4-8: Outros padrões aprendidos

Analogia: 8 especialistas analisando o mesmo texto de ângulos diferentes

📦 Tokenização: Quebrando Texto em Pedaços

O que são Tokens?

Não são palavras! São subunidades:

Exemplo (GPT-4):

Input: "Superprofessores"
Tokens: ["Super", "prof", "ess", "ores"]
4 tokens (não 1 palavra)

Input: "ChatGPT é incrível!"
Tokens: ["Chat", "G", "PT", " é", " in", "cr", "ível", "!"]
8 tokens

Por que Tokenizar?

✅ Eficiência: Vocabulário fixo (50k-100k tokens vs milhões de palavras) ✅ Generalização: Palavras novas podem ser compostas de tokens conhecidos ✅ Multilíngue: Mesmos tokens funcionam em múltiplas línguas

Algoritmos Comuns:

1. Byte-Pair Encoding (BPE) - Usado por GPT

  • Começa com caracteres
  • Mescla pares frequentes
  • Ex: “a” + “b” → “ab” se aparecem juntos frequentemente

2. WordPiece - Usado por BERT

  • Similar a BPE, mas otimiza likelihood

3. SentencePiece - Usado por T5, LLaMA

  • Trata texto como sequência de bytes (Unicode-aware)

Implicações para Educadores:

⚠️ Limite de tokens ≠ Limite de palavras

  • GPT-4: 128k tokens ≈ 96k palavras (português)
  • Claude: 200k tokens ≈ 150k palavras

⚠️ Palavras longas custam mais

  • “a” = 1 token
  • “Institucionalização” = 5+ tokens

Ferramenta para Contar: https://platform.openai.com/tokenizer

🎨 Embeddings: Representando Significado em Vetores

Conceito:

Palavra → Vetor numérico de alta dimensão

Exemplo (simplificado para 3D):

"rei"      → [0.8, 0.3, 0.1]
"rainha"   → [0.8, 0.3, 0.9]
"homem"    → [0.5, 0.2, 0.1]
"mulher"   → [0.5, 0.2, 0.9]

Matemática vetorial:
rei - homem + mulher ≈ rainha
[0.8,0.3,0.1] - [0.5,0.2,0.1] + [0.5,0.2,0.9] = [0.8,0.3,0.9]

Propriedades Mágicas:

1. Similaridade Semântica Palavras similares têm vetores próximos:

  • “cachorro” e “cão” → Distância pequena
  • “cachorro” e “árvore” → Distância grande

2. Analogias

  • Paris : França :: Berlim : ? → Alemanha
  • Funcionam via aritmética vetorial!

3. Transferência de Contexto

  • “banco” (sentar) vs “banco” (financeiro)
  • Mesmo embedding muda significado por contexto

Embeddings em LLMs:

GPT-4: 12,288 dimensões (cada token = vetor de 12k números) Claude 3: Não revelado (estimado 8k-16k) Gemini: Não revelado

Visualização: t-SNE ou PCA reduzem para 2D/3D para plotar

🏗️ Escala: De GPT-2 a GPT-4

Evolução de Parâmetros:

Modelo Parâmetros Contexto Ano
GPT-2 1.5B 1k tokens 2019
GPT-3 175B 4k tokens 2020
GPT-3.5 175B 16k tokens 2022
GPT-4 ~1.7T* 128k tokens 2023
Claude 3 Opus ?** 200k tokens 2024
Gemini 1.5 ?** 1M tokens 2024

*Estimado, OpenAI não confirma **Não revelado

Lei de Escala (Scaling Laws):

Descoberta (Kaplan et al, 2020): Performance ∝ (Parâmetros)^α × (Dados)^β × (Computação)^γ

Implicação: Modelos maiores com mais dados são previsivelmente melhores

Mas… há limites:

  • 💰 Custo: GPT-4 custou ~$100M para treinar
  • ⚡ Energia: Equivalente a 1000 lares/ano
  • 🌍 Dados: Internet tem limite
  • 📐 Retorno diminui (modelo 10x maior ≠ 10x melhor)

🔬 Comparação de LLMs (Novembro 2025)

GPT-4 (OpenAI)

Pontos Fortes: ✅ Raciocínio lógico superior ✅ Código (especialmente Python) ✅ Seguir instruções complexas ✅ Integração com ferramentas (plugins)

Pontos Fracos: ❌ Contexto “apenas” 128k ❌ Vieses ocidentais ❌ Custo alto (API)

Melhor para: Tutoria 1-on-1, geração de código, raciocínio matemático

Claude 3 Opus (Anthropic)

Pontos Fortes: ✅ Contexto 200k (mais longo) ✅ Ética e segurança (Constitutional AI) ✅ Redação criativa e análise literária ✅ Menos alucinação

Pontos Fracos: ❌ Código inferior ao GPT-4 ❌ Mais “conservador” (recusa mais)

Melhor para: Análise de textos longos, feedback em redações, conteúdo sensível

Gemini 1.5 Pro (Google)

Pontos Fortes: ✅ Contexto 1M tokens (absurdo!) ✅ Multimodal nativo (texto+imagem+vídeo+áudio) ✅ Integração com Google Workspace ✅ Busca em tempo real

Pontos Fracos: ❌ Qualidade inconsistente ❌ Menos controle fino

Melhor para: Análise de materiais multimídia, pesquisa com fontes atuais

LLaMA 3 (Meta)

Pontos Fortes: ✅ Open-source (gratuito) ✅ Pode rodar localmente (com GPU) ✅ Customizável (fine-tune completo) ✅ Privacidade (dados não saem do servidor)

Pontos Fracos: ❌ Requer expertise técnico ❌ Infraestrutura própria ❌ Qualidade inferior aos comerciais

Melhor para: Instituições com dados sensíveis, projetos de pesquisa, budget limitado

⚠️ Limitações Técnicas

1. Limite de Contexto

O que é: Quantidade máxima de texto que modelo “lembra”

Implicação:

  • Conversa longa → Esquece início
  • Documento > contexto → Precisa resumir/cortar

Solução:

  • RAG (Retrieval Augmented Generation) - Módulo 2B.2
  • Summarização iterativa
  • Sliding window

2. Alucinações

O que é: Modelo inventa fatos que parecem verdade

Por que acontece:

  • Treinado para gerar texto plausível, não verdadeiro
  • Não tem “check de realidade”
  • Preenche lacunas com “invenções”

Exemplo:

Prompt: "Quem ganhou Nobel de Física em 2035?"
Modelo: "Dra. Maria Santos, por trabalho em fusão fria"
[FALSO: 2035 é futuro! Mas resposta parece legítima]

Mitigação:

  • Pedir fontes e verificar
  • RAG com base de conhecimento confiável
  • Fine-tune em dados verificados

3. Vieses

O que é: Modelo reflete preconceitos nos dados de treino

Exemplos Documentados:

  • Associação “CEO” → “homem” (mais frequente que “mulher”)
  • Descrições de profissões variam por gênero
  • Vieses raciais em geração de imagens

Mitigação:

  • Estar ciente e testar
  • Diversificar prompts
  • Usar modelos com RLHF (Reinforcement Learning from Human Feedback)

4. Raciocínio ≠ Compreensão

Modelos são pattern matchers, não “pensadores”:

O que fazem bem: ✅ Reconhecer padrões estatísticos ✅ Completar sequências ✅ Interpolar conhecimento

O que NÃO fazem: ❌ Raciocínio causal profundo ❌ Planejamento de longo prazo ❌ Compreensão física do mundo ❌ Teoria da mente (entender intenções)

Exemplo de Falha:

Prompt: "Tenho 3 laranjas. Como 2. Pego mais 5. Quantas tenho?"
GPT-3: "6" ✅ (certo)

Prompt: "Tenho 3 laranjas. Como 2. Pego mais 5. Planto 1. Quanto tempo até ter mais laranjas?"
GPT-3: "Cerca de 3 anos" (correto: 3-5 anos para laranjeira dar frutos)

Prompt: "Tenho 3 laranjas. Como 2. Pego mais 5. Planto 1. Quantas laranjas tenho agora?"
GPT-3: "6" ❌ (errado: 5, pois plantei 1)

Lição: Modelos falham em raciocínio multi-step com mudanças de estado

🛠️ Ferramentas para Explorar LLMs

1. Playgrounds Oficiais

OpenAI Playground: https://platform.openai.com/playground

  • Ajustar temperatura, top-p, frequência
  • Ver tokens e custos

Anthropic Console: https://console.anthropic.com

  • Testar Claude com controles finos

Google AI Studio: https://aistudio.google.com

  • Testar Gemini, incluir imagens/vídeos

2. Visualizações de Attention

BertViz: https://github.com/jessevig/bertviz

  • Visualizar o que cada attention head “olha”
  • Entender decisões do modelo

LLM Visualization: https://bbycroft.net/llm

  • Animação 3D de forward pass

3. Contadores de Tokens

OpenAI Tokenizer: https://platform.openai.com/tokenizer Hugging Face Tokenizer: https://huggingface.co/spaces/Xenova/the-tokenizer

4. Comparadores de Modelos

LMSYS Chatbot Arena: https://arena.lmsys.org

  • Compare respostas lado-a-lado
  • Vote no melhor (crowdsourced ranking)

Artificial Analysis: https://artificialanalysis.ai

  • Benchmarks de qualidade, velocidade, custo

📦 Recursos do Módulo

📹 Videoaulas (4h)

  • História: de RNNs a Transformers (40 min)
  • Arquitetura Transformer explicada (60 min)
  • Tokenização e Embeddings (45 min)
  • Comparação de LLMs (55 min)

💬 Práticas (9h)

  • Explorar Playgrounds (3h)
  • Visualizar attention (2h)
  • Comparar outputs de diferentes LLMs (2h)
  • Testar limites (contexto, alucinação) (2h)

✅ Avaliação (2h)

  • Quiz: 30 questões (conceitos técnicos)
  • Projeto: Relatório comparando 3 LLMs para caso de uso educacional

📚 Referências

  • Paper: “Attention is All You Need” (Vaswani et al, 2017)
  • Curso: Stanford CS224N (NLP with Deep Learning)
  • Livro: Speech and Language Processing (Jurafsky & Martin) - Cap. 10-11
  • Blog: Jay Alammar’s Illustrated Transformer (jalammar.github.io)
**© 2025 SuperProfessores Licença MIT**