Contenido detallado
⚖️ El gran equilibrio: memoria × ancho de banda
Todo hardware de IA local vive la misma tensión. Por un lado, cuánta memoria la máquina tiene — eso determina el tamaño del modelo que cabe. Por otro lado, la bandwidth de esa memoria — eso determina la velocidad con el que sale el texto. Las cuatro categorías de este módulo son solo puntos distintos en esa misma balanza.
🆕 ¿Eres nuevo por aquí?
- Memoria unificada: La RAM y la VRAM se convierten en un solo depósito, compartido entre CPU y GPU (al estilo de Apple). Cabe un modelo grande, pero el ancho de banda suele ser modesto.
- VRAM: la memoria dedicada que está dentro de la tarjeta de video. Generalmente es más pequeña, pero tiene un ancho de banda altísimo.
- Ancho de banda (de memoria): cuántos GB/s entrega la memoria al chip. Es el cuello de botella n.º 1 de la velocidad de generación: más ancho de banda, más tokens por segundo.
🔑 La idea central
Piensa en dos ejes independientes:
- •Capacidad (memoria): el modelo cabe o no cabe. Sin suficiente memoria, ni siquiera se carga.
- •Ancho de banda: una vez cargado, el ancho de banda determina si la respuesta sale de golpe o poco a poco.
- •Nadie tiene ambos al máximo y a bajo costo: Apple apuesta por la capacidad; la GPU, por el ancho de banda. Elegir hardware es elegir dónde ceder.
Lee comparando las dos columnas: la izquierda, una caja de memoria mucho más grande (hasta 512 GB), pero alimentada por un tubo estrecho: mucha capacidad, poca velocidad. A derecha, una caja más pequeña (≈ 32 GB) con un tubo ancho: poca capacidad, mucha velocidad. El grosor de la flecha é el bandwidth.
📊 Las 4 categorías de un vistazo
| Categoría | Memoria | Ancho de banda | Bueno para |
|---|---|---|---|
| Mac (unificada) | alta (hasta 512 GB) | baja | modelos enormes, lentos |
| Workstation de IA | media (~128 GB) | media | equilibrio, desarrollo local |
| GPU potente | baja-media (32–96 GB) | altísima | velocidad, hasta que quepa en la VRAM |
| Presupuesto | baja (8–24 GB) | baja-media | modelos pequeños, embeddings |
🍎 Categoría Mac: memoria unificada alta, ancho de banda bajo
O Apple Silicon (los chips M-series en Mac Studio, Mac Pro y MacBook) cambiaron las reglas del juego de la IA local con un truco: la memoria unificada. La GPU ve toda la RAM del sistema como si fuera VRAM. Un Mac Studio con 512 GB unificados puede cargar un modelo de 200 GB+ que ninguna GPU de consumo puede manejar. El precio que pagas es el ancho de banda: es adecuado para un chip integrado, pero está muy por debajo de una GPU dedicada; así que el modelo gigante se ejecuta, pero despacio.
✓ Dónde destaca la Mac
- ✓Ejecuta modelos enormes que no caben en ninguna GPU de consumo
- ✓Silencioso, frío y eficiente en energía para su tamaño
- ✓macOS listo: MLX/Metal sin instalar ningún controlador
- ✓Una sola caja, sin armar una PC ni una fuente de 1000 W
✗ Dónde cede
- ✗Menos ancho de banda → tokens/s más bajos que una GPU dedicada
- ✗Las configuraciones con mucha RAM unificada son costosas
- ✗Sin CUDA: algunos proyectos dan por sentado que usas NVIDIA y requieren adaptación
- ✗Memoria soldada: no se puede ampliar después
💡 Consejo práctico
Si tu objetivo es ejecutar el modelo más grande posible en un solo dispositivo silencioso —y toleras respuestas que salen a ritmo de lectura, no a toda velocidad—, es difícil superar una Mac con mucha memoria unificada. Si el objetivo es velocidad máxima para un modelo que cabe en 24–32 GB, conviene más usar la siguiente opción (GPU).
🏗️ Workstations de IA: memoria media, ancho de banda medio
En medio del mapa nació una nueva categoría: workstations de IA — máquinas diseñadas de fábrica para ejecutar modelos, con bastante memoria unificada/compartida y más ancho de banda que una Mac común, sin el precio (ni el calor) de un rack de GPU. Es el equilibrio para quien quiere un modelo grande e velocidad decente, normalmente ejecutando Linux.
NVIDIA DGX Spark (~128 GB)
Una «supercomputadora de IA de escritorio» de NVIDIA con memoria coherente de unos 128 GB. Incluye el stack CUDA en un formato compacto: ideal para prototipar modelos medianos/grandes sin pasar a la nube.
AMD Ryzen AI Max "Strix Halo"
APU de AMD que asigna una gran parte de la RAM del sistema como memoria de GPU — la respuesta de AMD a la idea de memoria unificada, en mini PC y laptops potentes. Equilibrio parecido, ecosistema ROCm.
SO típico: Linux
Estas cajas casi siempre ejecutan Linux, donde los drivers (CUDA/ROCm) y los runtimes de IA están más consolidados. Es la categoría que más familiaridad con la terminal requiere —tema del módulo 2.3.
🧭 Cómo posicionar
La workstation se ubica exactamente entre la Mac (mucha memoria, poco ancho de banda) y la GPU (poca memoria, mucho ancho de banda): memoria media y banda media. Es la elección de quien no quiere ningún extremo: quiere un modelo razonablemente grande que funcione a una velocidad razonablemente buena, sin montar un servidor.
🚀 GPU potentes: menos VRAM, ancho de banda altísimo
Aquí reside la velocidad pura. Una GPU NVIDIA dedicada tiene menos memoria que una Mac de gama alta, pero el ancho de banda de la VRAM es varias veces mayor — entonces, mientras el modelo quepa en la VRAM, genera tokens a un ritmo que ninguna otra categoría alcanza. La regla de oro cambia: aquí el límite no es "qué modelo cabe en la máquina", sino "qué modelo cabe en la placa".
🖥️ Dos referencias de GPU
| GPU | VRAM | Ancho de banda | Perfil |
|---|---|---|---|
| RTX 5090 | ~32 GB | altísima | consumidor de gama alta, muy rápido |
| RTX 6000 (Pro) | ~96 GB | altísima | profesional, cabe más, caro |
✓ A favor
- ✓Tokens/s en la parte superior: sensación de "tiempo real"
- ✓CUDA es el camino con más soporte en todo el ecosistema
- ✓Ideal para ofrecer una API rápida y agentes que responden al instante
✗ En contra
- ✗El modelo que no cabe en la VRAM "se desborda" a la CPU y pierde velocidad drásticamente
- ✗Alto consumo de energía y calor; fuente y gabinete robustos
- ✗La VRAM de gran capacidad (96 GB) es cara: territorio profesional
💡 Consejo práctico
Con GPU, el juego es mantener todo dentro de la VRAM. Un modelo cuantizado que ocupa 28 GB vuela en una 5090 de 32 GB; el mismo modelo con mayor precisión se pasa del límite, usa la RAM y la velocidad cae en picada. En el módulo 2.2 aprenderás a estimar si cabe antes de descargar nada.
💵 Presupuesto: "todo lo demás" sigue teniendo mucho valor
La cuarta categoría es la más grande de todas: Mac mini, laptops y PC comunes — cualquier cosa por debajo del rango premium. Menos memoria (8–24 GB), ancho de banda modesto. Pero no confundas «budget» con «inútil»: es exactamente aquí donde la mayoría de las personas empieza, y al ejecutar modelos pequeños (Gemma, Phi, Qwen en versiones de 2–8B), embeddings y clasificación, ya resuelves una enorme cantidad de tareas reales.
✓ Qué funciona bien
- ✓Modelos pequeños (2–8B) cuantizados para chat y borradores
- ✓Embeddings y búsqueda semántica (base de RAG) — ligeros
- ✓Clasificación, extracción y resumen de textos cortos
- ✓Costo de entrada cero: usa la máquina que ya tienes
✗ Dónde aprieta
- ✗Los modelos grandes (30B+) no caben o avanzan a paso de tortuga
- ✗Un contexto demasiado largo agota la memoria rápidamente
- ✗Sin GPU, la CPU puede con la tarea, pero a pocos tokens/s
💡 Consejo práctico
La mejor categoría para aprender es la que ya tienes sobre la mesa. Empieza con el presupuesto y un modelo pequeño y Ollama (Trilha 3), descubre qué haces realmente con la IA local y solo entonces decide si vale la pena subir de categoría. El hardware caro que se compra antes de conocer el caso de uso suele terminar en una estantería.
💻 Sistema operativo en la práctica
La categoría de hardware casi siempre viene acompañada de un sistema operativo. No existe un «mejor SO» en abstracto: existe el que se adapta a tu máquina y a tu comodidad. Los tres caminos:
🧭 macOS × Linux × Windows
| SO | Se integra con | A favor | En contra |
|---|---|---|---|
| macOS | Apple Silicon | usabilidad, MLX, cero drivers | sin CUDA |
| Linux | workstations / GPU | drivers maduros, más control | curva de terminal |
| Windows | GPU para gaming | fácil, WSL2 trae Linux incluido | capas adicionales |
⌨️ Ejemplo práctico: descubre tu categoría
Objetivo: ver cuánta memoria (y de qué tipo) tienes: el número que determina en cuál de las 4 categorías cae tu máquina. Pega esto en la terminal.
Cómo verificar: si el número grande viene de free -h en una Mac, es unificada (categoría 2). Si hay una VRAM separada en el nvidia-smies GPU (categoría 4). ¿Poca memoria y sin GPU dedicada? Budget (categoría 5), y está bien empezar por ahí.
Autoevaluación (opcional): ¿qué frase resume correctamente el trade-off principal de este módulo?
📌 Resumen del módulo
Siguiente módulo:
2.2 — Cómo elegir qué cabe en tu máquina