Pregunta 20 · 🧠 Acceso a modelos y modelos locales
¿Con qué tamaño de modelo local conviene empezar en una Mac con 48 GB de RAM?
Ejecutar un modelo en tu propia Mac te da privacidad y permite usarlo sin pagar por cada consulta. Pero elegir uno demasiado grande hace que todo vaya lento, y calcular la memoria ayuda a acertar desde el principio.
Los parámetros son los «números aprendidos» del modelo; cuantos más parámetros tiene, más memoria ocupa. Una regla práctica aproximada es reservar para el modelo cerca de la mitad de la RAM: en este caso, unos 24 GB. Es una regla conservadora para empezar (la Mac permite usar más), no un límite técnico.
La cuenta: en la versión comprimida más común (cuantizada a 4 bits), cada mil millones de parámetros ocupa alrededor de 0,6 GB. Un modelo de 20 mil millones ocupa cerca de 12 GB y el resto de los 24 GB cubre la memoria de la conversación. El sistema y los demás programas siguen teniendo la otra mitad.
No elijas de entrada el modelo más grande que quepa en la máquina: con suficiente margen, la computadora sigue siendo usable mientras se ejecuta el modelo. En Mac, busca la versión MLX del modelo, diseñada para los chips de Apple.
Memoria unificada de la Mac
En las Mac con chip de Apple, la memoria es unificada: el procesador y la parte gráfica usan la misma RAM. Por eso, los 48 GB sirven para ejecutar el modelo, sin una tarjeta gráfica aparte.
A cambio, todo compite por el mismo espacio: el modelo, el navegador, los programas abiertos y el propio sistema.
El tamaño del modelo y de la conversación
El modelo ocupa memoria de dos maneras. La primera es el propio archivo: en 4 bits, unos 0,6 GB por cada mil millones de parámetros. La cuantización (compresión de los números del modelo) en 8 bits ocupa cerca del doble, según una estimación.
La segunda es el contexto (la cantidad de conversación y documentos que el modelo considera a la vez). Cuanto más texto pegues, más memoria usa, además del archivo.
El cálculo, paso a paso
Reserva aproximadamente la mitad de la RAM: 24 GB. Un modelo de 20 mil millones en 4 bits ocupa unos 12 GB. Quedan unos 12 GB para el contexto, lo que permite conversaciones largas y documentos medianos sin problemas.
Es posible cargar un modelo mucho más grande, pero deja poco margen y puede hacer que la Mac vaya lenta para el resto del trabajo.
Herramientas para empezar
LM Studio y Ollama descargan y ejecutan modelos con unos pocos clics o con un comando. En Hugging Face (repositorio público de modelos), busca versiones MLX (formato optimizado para los chips de Apple) o cuantizadas en 4 bits. Prueba tareas reales antes de decidir que el modelo te sirve.
- Revisa cuánta memoria usa hoy la Mac durante tu trabajo normal desde el Monitor de Actividad.
- Instala LM Studio u Ollama.
- Descarga un modelo de entre 15 y 20 mil millones de parámetros en 4 bits, de preferencia en versión MLX.
- Pruébalo con tres o cuatro tareas reales y anota la calidad y la velocidad.
- Observa la presión de memoria durante el uso, con tus programas abiertos.
- Aumenta el tamaño solo si hay margen y la calidad actual no es suficiente.
- Elegir el modelo más grande que cabe: queda poca memoria y la Mac va lenta.
- Olvidar el contexto al hacer el cálculo: los documentos largos consumen memoria además del archivo del modelo.
- Evaluar el modelo con una sola prueba: compáralo siempre con tus tareas reales.
- 48 GB ÷ 2 ≈ 24 GB para el modelo.
- 4 bits: ~0,6 GB por cada mil millones → 20 mil millones ≈ 12 GB.
- En Mac, usa la versión MLX.
- CursoKit Local — el laboratorio localSimula qué modelo cabe en tu memoria antes de descargarlo.
- Proyectojarvis-localUn asistente de voz 100 % en tu máquina, con Ollama.
- CursoCCOpen — Claude Code gratis o por casi nadaUsa un modelo local en tu máquina como motor del agente.
Algunos de estos materiales están en portugués.