🌿 Fundamentos de Contexto

O context window e a quantidade maxima de tokens (palavras/caracteres) que um LLM pode processar em uma unica interacao. Varia de 8K a 2M+ tokens dependendo do modelo.

Entender os limites evita truncamento de respostas, perda de contexto importante e custos desnecessarios com tokens.

Input tokens vs Output tokens | Context window != qualidade de atencao | Modelos pagos vs open source.

Assim como no credito financeiro, ter 1 milhao de tokens disponiveis nao significa que voce deve usar todos. Alta utilizacao = maior risco de problemas.

A analogia torna intuitivo entender por que prompts mais enxutos frequentemente produzem melhores resultados.

Utilizacao baixa = maior precisao | Denominador grande, numerador pequeno | Qualidade > Quantidade.

Estrategias praticas para maximizar a efetividade do contexto disponivel sem sobrecarregar o modelo.

Usar bem o contexto e a diferenca entre respostas mediocres e excelentes - especialmente em tarefas complexas.

Foco nos trechos relevantes | Evitar "data dumps" | Contexto direcionado por tarefa.

Os erros mais frequentes ao lidar com context windows: dumpar PDFs inteiros, ignorar limites de output, confundir tamanho com qualidade.

Evitar esses erros economiza tempo, dinheiro e frustracao - especialmente em projetos corporativos.

"Dumping" de documentos | Output token limits | Context != memoria persistente.

Tabela comparativa: GPT-4o (128K), Claude 3.7 (200K), Gemini 2.5 Pro (1M+). Cada modelo tem suas forcas.

Escolher o modelo certo para cada tarefa otimiza resultados e custos.

Gemini = maior context | Claude = melhor escrita | GPT = equilibrado | O3 = maior output.

Exercicio hands-on: otimizar um prompt de 5000 palavras para 500 sem perder informacao essencial.

Pratica consolida o aprendizado. Voce vai aplicar a analogia do credito em um caso real.

Identificar informacao critica | Remover redundancias | Testar antes/depois.

LLMs tem dificuldade em manter atencao uniforme em textos longos. Comeco e fim recebem mais "peso" que o meio.

Saber disso muda como voce estrutura prompts - colocando informacao critica nas posicoes certas.

Primacy bias | Recency bias | Attention distribution | Posicionamento estrategico.

Teste que avalia a capacidade de um LLM encontrar uma informacao especifica escondida em um texto longo.

Gemini lidera nesse teste. Saber disso ajuda a escolher o modelo certo para tarefas de busca em documentos.

Gemini = melhor | Claude = mediano | GPT = pior em docs longos | Benchmark de retrieval.

O modelo da mais peso ao que ve por ultimo. Colocar instrucoes importantes no final aumenta a chance de serem seguidas.

Tecnica simples mas poderosa: repetir instrucoes criticas no final do prompt melhora drasticamente a aderencia.

Repetir nao e redundancia | Disclaimers no final | "Note:" como trigger.

Pedir ao modelo para verificar se usou informacao de todo o contexto, nao apenas do inicio/fim.

Tecnica avancada que forca o modelo a "voltar" e reconsiderar partes que pode ter ignorado.

"Did you use the entire context?" | Verificacao explicita | Segunda passada mental.

Dar pistas explicitas: "olhe na secao sobre X", "a informacao esta por volta da pagina 20", "busque o header Y".

Quando voce sabe onde esta a informacao, guiar o modelo e mais eficiente que deixa-lo procurar sozinho.

Headers como ancora | Referencias de pagina | Citacao direta quando possivel.

Toolkit completo: chunking, sumarizacao, repeticao estrategica, posicionamento de instrucoes.

Nao existe solucao unica - voce precisa de um arsenal de tecnicas para diferentes situacoes.

Chunking + Summarization | Key points extraction | Informacao critica no inicio E fim.