Estrategias de contexto a gran escala
Decisiones arquitectónicas
El Desafío de la Escala
En sistemas de producción con miles de usuarios, cada decisión sobre el contexto impacta costo, latencia y calidad. El arquitecto define políticas, no prompts.
100K tokens/req = $$$$
Más contexto = más lento
Más ≠ mejor
Estrategias de asignación
Contexto fijo por tipo de solicitud. Predecible, pero inflexible.
Contexto basado en la complejidad de la consulta. Eficiente, pero complejo.
Niveles de contexto (basic, standard, premium). Equilibrado.
Decidir: contexto largo, RAG o híbrido
Framework de decisión
Árbol de decisión
Dados mudam frequentemente?
├─ SIM → Dados > 1M tokens?
│ ├─ SIM → RAG obrigatório
│ └─ NÃO → RAG ou cache curto
│
└─ NÃO → Dados cabem no contexto?
├─ SIM → Análise relacional necessária?
│ ├─ SIM → LONG CONTEXT
│ └─ NÃO → Qualquer abordagem
│
└─ NÃO → Precisão máxima necessária?
├─ SIM → HÍBRIDO (long + RAG seletivo)
└─ NÃO → RAG puro
Long Context
- • Datos estáticos
- • Análisis profundo
- • Relaciones complejas
- • El alto costo por consulta está bien
RAG
- • Datos dinámicos
- • Base muy grande
- • Multi-tenant
- • El costo por consulta es crítico
Híbrido
- • Base fija + datos dinámicos
- • Máxima precisión
- • Costo equilibrado
- • Complejidad OK
Costos cognitivos y técnicos del contexto
El precio oculto
Costos técnicos
- 💵 Costo financiero ($/1K tokens)
- ⏱️ Latencia aumentada
- 📊 Throughput reducido
- 🔧 Complejidad operativa
Costos cognitivos
- 🧠 Efecto "Lost in the middle"
- 🎯 Dilución de la atención
- ⚡ Conflictos de información
- 🔀 Inconsistencias emergentes
Calculadora de trade-offs
| Contexto | Costo/req | Latencia | Precisión |
|---|---|---|---|
| 10K tokens | ~$0.03 | ~1s | Base |
| 50K tokens | ~$0.15 | ~3s | +15% |
| 100K tokens | ~$0.30 | ~6s | +20% |
| 200K tokens | ~$0.60 | ~12s | +22%* |
* Rendimientos marginales decrecientes después de ~100K
Gobernanza del contexto
Políticas organizacionales
La gobernanza define quién decide qué sobre contexto. Sin gobernanza, cada desarrollador toma decisiones inconsistentes.
Políticas de acceso
- • ¿Quién puede agregar contexto?
- • Niveles de sensibilidad
- • Registro de auditoría obligatorio
Políticas de calidad
- • Validación antes de la inyección
- • Requisitos de actualidad
- • Formato y estructura
Políticas de presupuesto
- • Límites por capa
- • Cuotas por equipo/proyecto
- • Alertas de exceso
Políticas de conflicto
- • Prioridad entre fuentes
- • Resolución automática vs. manual
- • Escalamiento
Políticas de persistencia y descarte
Ciclo de vida del contexto
Estrategias de ciclo de vida
Políticas de descarte (eviction)
Elimina el contexto al que no se haya accedido durante más tiempo
Elimina según la prioridad definida
Elimina después de un tiempo definido
Comprime en lugar de eliminar
Fallos sistémicos causados por el contexto
Modos de falla
Context Overflow
El sistema intenta inyectar más contexto del que permite el límite.
Mitigación: control del presupuesto + degradación gradual
Context Contamination
Los datos de un usuario se filtran al contexto de otro.
Mitigación: aislamiento estricto + límites entre inquilinos
Context Conflict
Información contradictoria de múltiples fuentes.
Mitigación: reglas de resolución de conflictos + prioridad de las fuentes
Context Staleness
Un contexto desactualizado lleva a respuestas incorrectas.
Mitigación: políticas de TTL + validación de vigencia