Contenido detallado
🎯 La pregunta correcta: ¿qué modelo quieres ejecutar?
La mayoría empieza por el lugar equivocado: mira la máquina y pregunta "¿qué cabe aquí?". Invierte el orden. Empieza por el caso de uso — la tarea define el tamaño del modelo, el tamaño define la memoria y la memoria señala el hardware. El hardware es el última pregunta, no la primera.
🆕 ¿Eres nuevo por aquí?
"Caso de uso" es la tarea concreta: resumir un correo, escribir código, clasificar texto, conversar. "Tamaño" es la cantidad de parámetros del modelo, medida en miles de millones: el 7B, 13B, 70B del nombre. Más parámetros ≈ más capacidad, pero también más peso. "Cuantización" es cuánto se comprimió cada parámetro (Q4, Q8, FP16); lo veremos en el siguiente tema.
🔑 Tres preguntas antes de cualquier descarga
- •¿Qué tarea? El chat y los borradores requieren poco; el código de producción y el razonamiento largo requieren modelos más grandes.
- •¿Qué calidad mínima te sirve? "Lo suficientemente bueno" para la mayoría de las tareas llega mucho antes que lo más avanzado.
- •¿Con qué frecuencia? El uso esporádico tolera la lentitud; un agente 24/7 debe caber con comodidad y funcionar rápido.
✓ Según el caso de uso (correcto)
- ✓"Quiero resumir notas" → basta con un modelo 7B → cabe en 8 GB
- ✓Conoces el límite de memoria antes de descargar
- ✓Usa solo lo necesario: nada de hardware de sobra
✗ Según el hardware (incorrecto)
- ✗"Tengo una GPU, ¿cuál es el modelo más grande?" → descarga uno de 70B que apenas funciona
- ✗Frustración: lento, se traba, no cabe bien
- ✗Una compra costosa para un problema que un 7B resolvía
📐 La regla rápida de memoria
Esta es la cuenta que determina casi todo. El tamaño del modelo en disco y en memoria se obtiene con una fórmula sencilla: no necesitas más que una multiplicación:
🆕 ¿Eres nuevo por aquí?
"Peso" (o parámetro) es un número que el modelo aprendió. Un 7B tiene 7 mil millones de ellos. "Bytes por peso" es cuánto ocupa cada número: FP16 lo guarda completo (2 bytes), cuantizar comprime a 8 o 4 bits (1 o ~0,5 byte), reduciendo el tamaño del archivo. "Sobrecarga de contexto" (el KV cache) es la memoria extra que crece a medida que la conversación se alarga; reserva de 1 a 3 GB para contextos típicos.
Al aplicar la fórmula a los tamaños más comunes (solo los pesos, antes del contexto):
| Modelo | Q4 (~0.6 GB/B) | Q8 (~1.0 GB/B) | FP16 (~2.0 GB/B) |
|---|---|---|---|
| 7B | ~4.5 GB | ~7.5 GB | ~14 GB |
| 13B | ~8 GB | ~14 GB | ~26 GB |
| 34B | ~20 GB | ~36 GB | ~68 GB |
| 70B | ~40 GB | ~70 GB | ~140 GB |
Lee la tabla eligiendo la línea (el tamaño que requiere tu tarea) y la columna (la cuantización). El número de la celda debe caber en tu memoria con margen — resume el contexto y deja margen para el sistema.
💡 Consejo práctico
Nunca llenes la memoria hasta el borde. Reserva 10–20% de margen para el sistema operativo, 1–3 GB para el contexto, y prefiere la cuantización más alta que aún quepa — Q4_K_M es el punto ideal: se reduce mucho y pierde poca calidad. Una regla mental rápida: tamaño en miles de millones ÷ 2 ≈ GB en Q4.
🧭 VRAM, RAM o memoria unificada para decidir
La regla práctica te dice cuántos GB. Falta saber de qué memoria. El tipo de memoria que ofrece tu perfil de hardware cambia la gama de modelos que vale la pena usar y la velocidad que notarás.
🆕 ¿Eres nuevo por aquí?
VRAM es la memoria de la tarjeta gráfica (GPU): poca, pero rápida; el modelo vuela cuando cabe completo en ella. RAM es la memoria del sistema, usada por la CPU: abundante y barata, pero lenta para la inferencia. Memoria unificada (Apple Silicon) es un conjunto único que comparten la CPU y la GPU: permite usar un modelo grande, con un ancho de banda intermedio.
Lee el diagrama de izquierda a derecha: cada franja de memoria libre (azul) apunta a la mayor rango de modelos (en cian) que cabe holgadamente en Q4. Con VRAM dedicada, este modelo vuela; con la misma cantidad de RAM o memoria unificada, cabe igual, solo que funciona más lento.
✓ Dónde destaca cada una
- ✓VRAM: el modelo cabe completo en la GPU → velocidad máxima
- ✓Unificada: muchos GB baratos → ejecuta modelos enormes que ninguna GPU común puede manejar
- ✓RAM: el camino sin costo para modelos pequeños en la CPU
✗ Dónde aprieta cada una
- ✗VRAM: poca — si supera el límite, cae a la CPU
- ✗Unificada: ancho de banda intermedio → 70B cabe, pero funciona despacio
- ✗RAM: lenta para inferencia; un modelo grande se vuelve una tortuga
⚡ Velocidad aceptable: tokens por segundo
Caber es una cosa; ser utilizable es otra cosa. La métrica que mide eso es tokens/s — qué tan rápido sale el texto. Y aquí lo que manda no es el tamaño de la memoria, sino el ancho de banda (qué tan rápido la memoria entrega datos al procesador).
🆕 ¿Eres nuevo por aquí?
"Token" es un fragmento de palabra; en promedio, una palabra tiene entre 1 y 2 tokens. "Tokens/s" es cuántos de estos fragmentos genera el modelo por segundo. Para comparar: lees en voz alta a unos ~5 tokens/s; por encima de eso, el texto aparece más rápido de lo que puedes leer.
Usa estos rangos como referencia para saber si una combinación de modelo y hardware vale la pena:
< 5 tokens/s — demasiado lento para chatear
Sirve para tareas por lotes que se ejecutan solas (por la noche, sin que estés pendiente), pero conversar así cansa. Es una señal típica de que el modelo es demasiado grande para la CPU/RAM.
10–20 tokens/s — cómodo
El rango adecuado para chatear a diario: el texto sale a la velocidad de lectura. Es el objetivo realista de un 7B–8B en Q4 en una GPU modesta o con memoria unificada.
40+ tokens/s — con holgura
Respuesta casi instantánea, ideal para agentes y flujos intensos. Ocurre cuando el modelo cabe entero en la VRAM de una GPU de alto ancho de banda.
💡 Consejo práctico
Cuando el modelo cabe completo en la memoria rápida, la velocidad cae gradualmente a medida que aumenta el tamaño. Cuando se desborda (parte en la GPU, parte en la CPU), la caída es brusca: puede bajar de 30 a 3 tokens/s. Por eso, la meta es: caber completo en la memoria más rápida que tengas, aunque sea con un modelo un número menor.
💰 Empezar con lo que ya tienes
La mejor primera máquina es la que tienes en tu escritorio. El camino de costo cero es directo: la laptop que ya usas + Ollama + un modelo de 3B a 8B en Q4. Antes de pensar en comprar algo, revisa qué tiene tu máquina: son dos comandos.
⌨️ Ejemplo práctico: consulta la memoria de tu máquina
Objetivo: descubrir cuánta VRAM y RAM tienes — los dos números que determinan el modelo más grande que puedes usar. Pégalo en la terminal.
Cómo verificar / estimar el modelo más grande viable:
- Anota la memoria libre la más rápida que tengas (VRAM si hay GPU; de lo contrario, la RAM).
- Quita ~20% de margen para el sistema y 2 GB para el contexto.
- Divide lo que queda entre 0.6 → es el tamaño máximo aproximado en miles de millones, en Q4. Ej.: 16 GB → ~11 GB útiles → cabe un 7B–8B con margen.
✓ Lo que ya tienes es suficiente cuando…
- ✓El caso de uso es chat, resumen, borrador o clasificación
- ✓Un modelo 7B–8B en Q4 cabe y funciona a más de 10 tokens/s
- ✓Aún estás aprendiendo y probando el flujo
↑ Piensa en subir cuando…
- →El modelo que la tarea requiere no cabe ni en Q4
- →La velocidad frena tu trabajo de verdad
- →Vas a dejar un agente funcionando 24/7
🚀 Armando un plan de actualización
Si llegó la hora de invertir, gasta en el orden correcto. La regla de oro: la memoria primero, siempre. Un modelo que no cabe no funciona; de poco sirve tener ancho de banda si falta espacio. Sigue este orden de prioridad:
Más memoria
Es lo que permite usar modelos más grandes. En RAM suele ser barato; en VRAM (más GPU) es el salto de calidad que más rinde. Resuelve la pregunta «¿cabe?» antes que cualquier otra cosa.
GPU dedicada (cuando la velocidad se queda corta)
Solo cuando cabe. Una GPU con suficiente VRAM para el modelo completo multiplica los tokens/s. Compensa el ancho de banda e capacidad: una VRAM pequeña y rápida obliga a transferir datos a la CPU.
Multi máquina (más adelante)
Un modelo grande en un equipo y uno rápido en otro, todo conectado por la red privada. Es el tema del módulo 2.4 (Tailscale): no compres pensando en esto ahora.
🛒 Lista de verificación de compra
- •Ya definí el caso de uso e o tamaño del modelo ¿objetivo?
- •El objetivo cabe en la memoria que voy a comprar en Q4, con margen para el SO y el contexto?
- •A ancho de banda ¿entrega los tokens/s que exige mi uso?
- •O sistema operativo ¿es compatible con mi hardware sin complicaciones (tema del 2.3)?
💡 Consejo práctico
No compres para el modelo de tus sueños: compra para el modelo que realmente usa hoy, con un margen de un nivel. El ecosistema se vuelve más eficiente cada mes: el hardware que compres rendirá más mañana que ahora.
Autoevaluación (opcional): tienes 16 GB de RAM y ninguna GPU dedicada. Según la regla práctica, ¿cuál es la opción más segura para el chat del día a día?
📌 Resumen del módulo
Siguiente módulo:
2.3 — Sistema operativo, drivers y base