🔤 Tokens y ventana de contexto
Los tokens son las unidades básicas que procesan los LLM: no son palabras, sino fragmentos de texto. Entender los tokens es esencial para conocer los límites de lo que puedes hacer.
¿Qué son los tokens?
La unidad básica de procesamiento de los LLM
Los tokens son la forma en que el LLM «lee» el texto. Una palabra puede ser 1 token o varios tokens. El modelo no procesa caracteres individuales ni palabras completas: procesa tokens.
📝 Ejemplos de tokenización
"Hola"
= 1 token
"Brasilia"
= 2 tokens (Bras + ília)
"ChatGPT"
= 2 tokens (Chat + GPT)
"Inteligencia Artificial"
= 4-5 tokens
📏 Regla General
~4 caracteres = 1 token en portugués. ¡Los espacios y la puntuación también cuentan!
🤔 ¿Por qué importan los tokens?
Límites físicos
Si se supera la ventana de contexto, el modelo no funciona
Costo
Las API cobran por token, tanto de entrada como de salida
Rendimiento
Los prompts muy largos pueden afectar la calidad y la velocidad
Context Window (Ventana de contexto)
El límite máximo de tokens que procesa el modelo
La «context window» es la cantidad máxima de tokens que el modelo puede procesar de una vez. Todo debe caber dentro de ese límite: tu prompt, el historial y la respuesta.
📊 Tamaños por Modelo (2025)
Claude 3.5 Sonnet
Anthropic
200.000 tokens
~150.000 palabras
GPT-4 Turbo
OpenAI
128.000 tokens
~96.000 palabras
Gemini 1.5 Pro
1.000.000 tokens
~750.000 palabras
📋 ¿Qué cuenta en el Context Window?
- ✓ Tu prompt actual
- ✓ Todo el historial de la conversación
- ✓ La respuesta del modelo
- ✓ Ejemplos y contexto proporcionados
Cálculo de tokens en la práctica
Aprende a estimar si tu contenido cabe
✅ Ejemplo: texto corto
Texto de 1.000 palabras en portugués
≈ 1.300 tokens
Si el límite es 4.000 tokens:
- • Tu texto: 1.300 tokens
- • Tu pregunta: ~50 tokens
- • Respuesta esperada: ~500 tokens
- • Total: ~1.850 tokens ✅ ¡Cabe!
❌ Ejemplo: documento grande
Documento de 50.000 palabras
≈ 65.000 tokens
Si el límite es 16.000 tokens (GPT-3.5):
❌ ¡NO CABE!
💡 Soluciones:
- 1. Usa un modelo con una ventana de contexto más grande (Claude, Gemini)
- 2. Divide el documento en partes más pequeñas
- 3. Resume primero, después analiza el resumen
Consejos prácticos
Optimiza tu uso de tokens
Errores comunes
Qué evitar con los tokens
❌ Ignorar el conteo de tokens
Ejemplo: pegar un documento enorme sin verificar si cabe
✓ Solución: Estima siempre los tokens antes de enviar. Usa herramientas de conteo.
❌ Usar toda la ventana de contexto
Ejemplo: prompt de 15.900 tokens en un modelo de 16k
✓ Solución: Deja al menos 20-30% para la respuesta del modelo.
🚀 Siguiente paso
Ahora que entiendes los tokens, aprende a Anatomía de un prompt ¡para estructurar tus instrucciones de forma eficaz!
Ir a Anatomía