Contenido detallado
🤗 Hugging Face: el «GitHub de los modelos»
Antes de ejecutar cualquier cosa, necesitas un lugar para conseguir los modelos. Ese lugar es Hugging Face: el repositorio central donde vive casi todo modelo abierto. Saber leer allí la página de un modelo ya resuelve el 80% de tus dudas sobre "cuál descargar".
🆕 ¿Eres nuevo por aquí?
Hugging Face (el «HF») es como un GitHub solo para IA: un sitio donde los laboratorios y la comunidad publican modelos abiertos, cada uno en su «página del modelo» (el model card). O model card es el README del modelo: describe qué es, cuántos parámetros tiene, qué licencia usa y enumera los archivos que puedes descargar.
🔑 Qué leer en el model card
Abre la página del modelo y busca cuatro cosas: ellas lo deciden todo:
- •Parámetros: está en el nombre (7B, 14B, 70B). Más parámetros ≈ más capacidad y más peso.
- •Variante: prefiere la versión Instruct / Chat (entrenada para conversar), no la «base» sin procesar.
- •Pestaña "Files": los archivos reales. Es donde ves si existe
GGUFy qué cuantizaciones. - •Licencia: Abierto ≠ permitido para todo. Consulta el uso comercial antes de depender de él.
📊 Atajo para buscar joyas
- Busca repositorios con "GGUF" en el nombre (p. ej., publicados por bartowski o por el propio lab): ya vienen listos para Ollama/LM Studio.
- Ordena por downloads/tendencias: lo que usa la comunidad suele ser estable y estar bien probado.
- Un buen modelo popular hoy para empezar: Qwen2.5, Llama 3.1/3.2, Gemma 2, Mistral.
📦 Formatos: GGUF, safetensors, GPTQ/AWQ
En la pestaña "Files" encontrarás distintas extensiones. No son versiones "mejores" o "peores": son paquetes para distintos runtimes. Elegir la equivocada es la causa n.º 1 de "lo descargué y no funciona".
🆕 ¿Eres nuevo por aquí?
GGUF = formato de archivo único que empaqueta el modelo listo para ejecutarse en CPU o GPU mediante llama.cpp — el motor detrás de Ollama y LM Studio. Es el formato de la IA local «plug and play».
safetensors = formato de pesos «crudos», del ecosistema Python/PyTorch (Transformers, vLLM). Es seguro y estándar para entrenamiento y servidores de GPU, pero requiere más configuración.
GPTQ / AWQ = pesos ya cuantizados, hechos para ejecutarse solo en GPU a través de runtimes como vLLM/AutoGPTQ. Son rápidos en GPU, pero no es la forma más sencilla de empezar.
✓ GGUF — elección del curso
- ✓Se ejecuta en Ollama y LM Studio sin configurar nada
- ✓Funciona en CPU, GPU o ambas (offload)
- ✓Un solo archivo, con la cuantización integrada
- ✓Ideal para Mac, laptops y PC sin una GPU monstruosa
✗ safetensors / GPTQ / AWQ
- ✗Requieren Python + Transformers/vLLM y dependencias
- ✗GPTQ/AWQ generalmente requieren una GPU NVIDIA dedicada
- ✗No se conectan directamente a Ollama/LM Studio
- ✗Destacan en servidores y entrenamiento; no en «empezar fácilmente»
💡 Regla práctica
Para todo en este curso (Ollama, LM Studio), la respuesta casi siempre es GGUF. Pasa a safetensors/GPTQ/AWQ solo cuando vayas a servir a escala en una GPU dedicada — tema de la Trilha 4. Si tienes dudas: ¿hay GGUF? Descarga el GGUF.
🔢 Leyendo las cuantizaciones
Dentro del GGUF hay un montón de variantes: Q4_K_M, Q5_K_M, Q8_0... Este es el corazón de la elección. Descifrar estos sufijos es lo que marca la diferencia entre "lo descargué bien" y "descargué 14 GB que no caben".
🆕 ¿Eres nuevo por aquí?
Cuantización = reducir la precisión de los pesos del modelo (de 16 bits a 8, 5, 4...) para que el archivo sea mucho más pequeño y quepa en menos memoria, con poca pérdida de calidad.
Leyendo Q4_K_M: o Q4 = ~4 bits por peso (cuanto menor el número, más pequeño y «más comprimido»); el K = método moderno «k-quant» (más inteligente que el antiguo); el M = tamaño Medium de la variante (hay S/small y L/large). FP16 = sin cuantización, precisión completa.
Usa un modelo 7B como referencia. Mira qué efecto tiene cada cuantización en el tamaño y la calidad: el punto óptimo es donde el archivo ya es pequeño, pero la calidad casi no ha disminuido:
| Quant | Bits/peso | Tamaño (7B) | Calidad | Cuándo usar |
|---|---|---|---|---|
| FP16 | 16 | ~14 GB | máxima | referencia / VRAM disponible |
| Q8_0 | ~8 | ~7.7 GB | ~casi idéntica | quiere una calidad casi total |
| Q6_K | ~6.5 | ~5.5 GB | excelente | punto medio alto |
| Q5_K_M | ~5.5 | ~5.1 GB | muy buena | punto óptimo alto |
| Q4_K_M ★ | ~4.5 | ~4.4 GB | buena | mejor equilibrio (predeterminado) |
| Q3_K_M | ~3.5 | ~3.5 GB | empieza a fallar | solo si falta memoria |
| Q2_K | ~2.6 | ~2.8 GB | degrada bastante | último recurso |
Lee de arriba abajo: el archivo se reduce rápido (de ~14 GB a ~4.4 GB) mientras la calidad cae despacio — hasta el Q4_K_M, donde la curva todavía es alta. Por debajo de ese punto (Q3, Q2), la calidad empieza a caer en picada. Por eso la comunidad trata Q4_K_M / Q5_K_M como equilibrio predeterminado.
💡 Consejo práctico
Regla práctica: empieza con Q4_K_M. Si te sobra memoria, sube a Q5_K_M o Q8_0 y mejora un poco la calidad. Baja a Q3/Q2 solo si el modelo no quepa — y sabiendo que notarás la pérdida.
⬇️ Descarga: vía Ollama vs directa
Hay dos caminos: dejar que el Ollama descargarlo para ti (lo más fácil) o conseguir un GGUF directamente desde Hugging Face y registrarlo en tu máquina. Usarás ambos — empieza por lo sencillo.
⌨️ Ruta 1 — Ollama descarga por ti
Objetivo: descargar Qwen2.5 7B ya en el formato y la cuantización correctos, con un comando. El q4_K_M en la tag eliges la cuantización ideal.
Cómo verificar: o ollama list muestra la línea qwen2.5:7b-instruct-q4_K_M con ~4.4 GB. Ejecuta ollama run qwen2.5:7b-instruct-q4_K_M y haz una pregunta: si responde, funcionó.
⌨️ Ruta 2 — GGUF directamente desde Hugging Face
Objetivo: usar un GGUF que no está en el catálogo de Ollama (descargado desde la pestaña "Files" de una ficha del modelo). Tres pasos:
Descarga el archivo .gguf
En la model card, pestaña Files, descarga la cuantización que quieras (p. ej., ...Q4_K_M.gguf).
Crea un Modelfile
Un archivo de texto que solo apunta al GGUF con la línea FROM.
Registra y ejecuta
ollama create convierte el GGUF en un modelo propio, con nombre.
LM Studio (sin terminal): en la pestaña de búsqueda, busca el modelo y elige la cuantización (ej.: Q4_K_M) y haz clic Descarga. Reconoce el GGUF y abre el chat de inmediato: sin comandos.
Cómo verificar: ollama list muestra mi-qwen y el chat responde. En LM Studio, el modelo aparece en «My Models» y se carga en el chat.
💡 Atajo de Ollama
Ollama también descarga GGUF directamente de Hugging Face, sin Modelfile: ollama run hf.co/usuario/repo-GGUF:Q4_K_M. Cámbialo por la ruta del repositorio y la cuantización que viste en la pestaña "Files".
🧮 Cómo combinar modelo × hardware
Elegida la cuantización, falta la pregunta final: ¿cabe en mi máquina? La regla práctica de la Trilha 2 cierra el ciclo — el tamaño del archivo debe caber en la memoria con margen para el contexto.
Tamaño aproximado por modelo × cuantización (y cuánta memoria necesitas para que funcione bien):
| Modelo | Q4_K_M | Q8_0 | Memoria ideal |
|---|---|---|---|
| 7B | ~4.4 GB | ~7.7 GB | 8–12 GB |
| 13B | ~7.9 GB | ~14 GB | 12–16 GB |
| 34B | ~19 GB | ~36 GB | 24–40 GB |
| 70B | ~40 GB | ~75 GB | 48–80 GB |
La diferencia entre «cabe» y «no cabe» es la diferencia entre rápido e inutilizable. Mira los dos escenarios:
✓ El quant cabe en la memoria
- ✓El modelo completo cabe en la VRAM/RAM
- ✓Las respuestas salen fluidas, con muchos tokens/s
- ✓Queda espacio para el contexto (KV cache)
- ✓Puedes ejecutarlo 24/7 sin que la máquina se bloquee
✗ Se agotó la memoria
- ✗Parte va a la CPU/disco (swap): lentísimo
- ✗Pocos tokens/s, respuestas lentas
- ✗Error de OOM (out of memory) o bloqueo
- ✗Respuesta: descarga una cuantización menor o un modelo más pequeño
💡 Flujo de decisión
¿Cuánta memoria tienes? → elige el modelo más grande cuya Q4_K_M que quepa con 2–4 GB de margen. ¿Quedó espacio de sobra? Sube la quant (Q5/Q8) antes de subir de modelo: la calidad adicional cuesta menos que duplicar el tamaño. 8 GB ≈ 7B Q4; 16 GB ≈ 13B Q4 o 7B Q8; 24 GB+ ≈ 34B Q4.
✅ Verificar la calidad y la integridad
Descargado: ahora confirma dos cosas: que el archivo llegó entero (descarga no corrupta) y que la cuantización no fue demasiado lejos. Dos minutos de prueba evitan horas de "¿por qué este modelo funciona tan mal?".
⌨️ Ejemplo práctico: checksum + prompt estándar
Objetivo: confirmar la integridad del archivo y hacer una prueba de sanidad de la respuesta.
Cómo verificar: el SHA256 debe coincidir con el de la página. La respuesta debe ser coherente, en portugués, con 3 bullets de verdad, sin repetir, quedarse en un bucle ni cambiar de idioma. Si queda como una ensalada, la cuantización puede ser demasiado agresiva: sube a Q5_K_M o Q8.
✓ Quant saludable
- ✓SHA256 coincide con la página de HF
- ✓Sigue lo que pediste (formato, idioma)
- ✓Texto coherente, sin repeticiones extrañas
- ✓Respuestas similares en Q4 y Q5 (pérdida mínima)
✗ Cuantizado en exceso
- ✗Ensalada de palabras o frases sin sentido
- ✗Ignora la solicitud / cambia de idioma por su cuenta
- ✗Bucle: repite la misma frase sin parar
- ✗Se equivoca en cálculos/hechos simples que la Q5 acierta
Autoevaluación (opcional): tienes 8 GB de VRAM y quieres ejecutar un modelo 7B con el mejor equilibrio entre calidad y tamaño. ¿Qué cuantización es el «punto ideal» para empezar?
💡 Consejo práctico
Guarda un "prompt estándar" tuyo (un resumen, un cálculo, una pregunta sobre algo que conoces) y ejecútalo siempre que pruebes un modelo o una nueva cuantización. Comparar la misma la pregunta entre versiones es la forma más rápida y honesta de percibir la pérdida por cuantización.
📌 Resumen del módulo
Siguiente módulo:
3.4 — Parámetros y calidad: contexto, temperatura, offload