Contenido detallado
📏 Medición: tokens/s, latencia y memoria
No puedes mejorar lo que no mides. Antes de comprar hardware o culpar al modelo, captura tres números: velocidad de generación (tokens/s), tiempo hasta la primera palabra (latencia) y cuánta memoria se está usando — y quién la usa (GPU o CPU).
🆕 ¿Eres nuevo por aquí?
- tokens/s = cuántos «fragmentos de palabra» genera el modelo por segundo. Por encima de ~15 tok/s, la lectura fluye como un chat; por debajo de ~5, ya resulta molesto.
- latencia = el tiempo de espera antes de que empiece a aparecer la respuesta (cargar el modelo + procesar tu prompt). Un contexto largo aumenta la latencia.
- OOM = sin memoria: se agotó la memoria (VRAM/RAM) y el modelo no cabe. Es el error n.º 1 del lab local; volveremos a él en el tema 5.
⌨️ Ejemplo práctico: mide tu lab
Objetivo: ver qué está cargado, dónde se ejecuta (GPU x CPU) y la velocidad real de generación. Pega esto en la terminal.
Cómo verificar: al final de la generación, mira tasa de eval — son tus tokens/s. En ollama ps, la columna PROCESSOR muestra la distribución: 100% GPU es lo ideal; si aparece CPU, parte del modelo se «filtró» a la RAM y quedó lento.
📊 Qué es "lo suficientemente bueno"
- Chat interactivo: > 15 tok/s y una latencia < 2 s parecen instantáneos para una persona que está leyendo.
- Agente 24/7 / batch: la velocidad casi no importa: trabaja solo. Aquí lo que cuenta es que quepa en la memoria y no dé OOM.
- Voz / tiempo real: exige mucho más: la baja latencia se vuelve el cuello de botella, no el promedio de tokens/s.
🔀 Multi-GPU y múltiples máquinas
Cuando una máquina no da abasto, no necesitas una máquina más grande: necesitas más máquinas conversando. La receta combina dos piezas que ya armaste en el curso: la red privada de Tailscale (2.4) y el orquestador que dirige las tareas (4.1).
Multi-GPU en la misma máquina
Dos GPU en la misma PC: Ollama distribuye automáticamente las capas del modelo entre ellas. Suma la VRAM de ambas para que quepa un modelo más grande; ideal para 70B en dos tarjetas de 24 GB.
Enrutamiento por máquina
El modelo gigante vive en la Mac con memoria unificada (lento, pero cabe); el modelo rápido vive en la GPU NVIDIA. El orquestador envía cada tarea al endpoint correcto — resumen directo del 4.1.
El pegamento es Tailscale
Cada máquina obtiene una IP fija 100.x en tu tailnet. Llamas al modelo desde cualquier dispositivo como si estuviera en la misma LAN — sin abrir un puerto en internet (recap 2.4).
⌨️ Ejemplo práctico: enrutar a otra máquina
Objetivo: exponer el Ollama de la máquina potente en la tailnet y usarlo desde una laptop débil.
Cómo verificar: la respuesta aparece en la laptop, pero el ollama ps solo muestra el modelo cargado en la máquina A. La laptop se convirtió solo en una terminal: quien trabaja es la GPU remota.
💡 Consejo práctico
0.0.0.0 expone Ollama para toda la red de la máquina. Hazlo solo detrás de Tailscale: la tailnet es privada y está cifrada. Nunca expongas ese puerto a Internet público: dejarías tu modelo (y tu máquina) abiertos para cualquiera.
⚖️ Cuándo lo local NO conviene
La honestidad cierra mejor el curso que el hype. El modelo local es potente, pero no es la respuesta para todo. Saber cuándo usar la nube es parte de ser soberano: tú eliges por estrategia, no por dependencia.
✓ Lo local destaca
- ✓Datos sensibles que no pueden salir de la máquina
- ✓Uso intenso y continuo (agentes 24/7, procesamiento por lotes)
- ✓Tareas para las que «suficientemente bueno» ya sirve
- ✓Quieres independencia de los precios y los bloqueos
✗ Es hora de pensar en la nube
- ✗Necesitas el máximo absoluto de inteligencia de hoy
- ✗Uso poco frecuente y esporádico: el hardware no vale la pena
- ✗No quieres mantener el uptime, los drivers y la seguridad
- ✗Pico momentáneo de demanda que tu máquina no soporta
🔀 El camino más sólido es el híbrido
No es local o nube — es local como base y nube cuando tiene sentido:
- •El uso diario, lo privado y lo continuo funcionan de forma local.
- •El caso poco frecuente que exige lo mejor de la gama se envía a la nube — sin datos sensibles.
- •Como la API local es compatible con la de OpenAI (3.5), cambiar de endpoint es cambiar una URL.
🔥 Costo de energía y térmico
"Ilimitado" no significa "gratis": tener una GPU trabajando 24/7 implica pagar electricidad y lidiar con el calor. Vale mucho la pena, pero con responsabilidad; de lo contrario, cambias la factura de la nube por una de electricidad (y por un equipo que se recalienta).
🧮 La cuenta de electricidad, a grandes rasgos
Regla: potencia (kW) × horas × tarifa (R$/kWh). Una GPU potente consume ~350 W cuando está generando (en reposo, mucho menos):
En la vida real, un agente 24/7 pasa la mayor parte del tiempo inactivo entre tareas, así que el consumo suele ser una fracción de eso. Aun así, mídelo antes de darlo por hecho.
⚠️ Alerta: el calor es lo que acaba con el hardware 24/7
- ▸Ventilación: una máquina siempre encendida necesita que entre aire fresco y salga el caliente — no la metas en un armario cerrado.
- ▸Throttling térmico: Una GPU caliente reduce su propia velocidad para protegerse: los tokens/s se desploman sin que aparezca ningún error.
- ▸Polvo: con meses de uso continuo, obstruye los ventiladores. Límpiala periódicamente.
- ▸Monitorea: nvidia-smi muestra la temperatura y los watts en tiempo real; por encima de ~83 °C, mejora la refrigeración.
🛠️ Solución de problemas comunes
Casi todos los problemas de un laboratorio local caben en cinco categorías. En vez de memorizarlas, usa el flujo de abajo: empieza por el síntoma, identifica el diagnóstico y aplica la acción. La tabla que aparece a continuación es tu guía de bolsillo.
Lee de izquierda a derecha: el síntoma (ámbar) abre cuatro diagnósticos típicos (cian), y cada uno converge en una acción de corrección. La tabla de abajo muestra la «causa → solución» de cada caso.
| Problema | Causa probable | Fix |
|---|---|---|
| OOM (out of memory) | El modelo + el contexto no caben en la VRAM/RAM | Usa una cuantización menor (Q8→Q4), reduce num_ctx, o ejecuta un modelo más pequeño |
| Modelo lento | Parte del modelo se pasó a la CPU (offload) o hubo throttling térmico | Verifica ollama ps (PROCESADOR); ajusta num_gpu; deja que la GPU se enfríe |
| Controlador/CUDA dañado | La actualización del kernel/driver desincronizó CUDA | nvidia-smi ¿falla? Reinstala el driver y reinicia; reinstala el toolkit |
| Puerto 11434 ocupado | Ya hay un Ollama (u otro servicio) escuchando en ella | lsof -i :11434, termina el proceso o cambia OLLAMA_HOST |
| Tailscale sin conexión | La sesión expiró, el servicio dejó de funcionar o la clave venció | tailscale status; ejecuta sudo tailscale up de nuevo |
⌨️ Ejemplo práctico: los 5 comandos de diagnóstico
Objetivo: antes de pedir ayuda en internet, ejecuta esta batería: cubre los cinco problemas de la tabla.
Cómo verificar: cada comando responde correctamente (en verde) o señala al culpable. Con el síntoma y la fila de la tabla, resuelves el 90% de los casos por tu cuenta, sin enviar nada fuera de tu máquina.
🚀 Tu laboratorio de aquí en adelante
Llegaste al final y ahora tienes un lab propio. Lo que sigue es una evolución constante, no un destino. Mira la hoja de ruta natural y los hábitos que mantienen todo en buen estado.
Mantén los modelos actualizados
Los modelos abiertos mejoran mes a mes. Vuelve a hacer ollama pull de las nuevas versiones y pruébalas en la tu tarea antes de adoptar.
Pon a trabajar a un agente más
Ya tienes el escáner (4.3), el vigilante (4.4) y el buddy (4.5). Cada problema repetitivo de tu rutina es candidato a convertirse en un worker 24/7.
Actualiza el hardware cuando aparezca el cuello de botella
No compres por adelantado. Mide (tema 1), descubre el límite real y prioriza la memoria: el recurso que manda.
✓ Hábitos que mantienen vivo el laboratorio
- ✓Controlar las versiones de las configuraciones (Modelfiles, scripts) en un repo
- ✓Registrar lo que hacen los agentes y revisarlo
- ✓Medir antes de comprar hardware
- ✓Mantener todo en la tailnet, nada en la internet pública
✗ Trampas que bloquean
- ✗Ejecutarlo 24/7 sin ventilación ni monitorear la temperatura
- ✗Exponer directamente el puerto de Ollama en internet
- ✗Perseguir el «modelo perfecto» y nunca publicar nada
- ✗Olvidar el agente suelto sin registros ni límites
💡 Consejo práctico
Se aprende IA local practicando e intercambiando ideas. Comunidades (incluida la INEMA.CLUB), los foros de modelos abiertos y las tarjetas de Hugging Face son donde descubres el próximo buen modelo y evitas las trampas que a otros ya les costaron caro.
Autoevaluación (opcional): tu modelo se bloquea con un error de OOM al cargar. ¿Cuál es el primer ajuste más directo?
🏁 Fin del curso — repaso de las 4 rutas
Saliste de la teoría y llegaste a un lab que trabaja por ti. Mira el camino que recorriste:
🤝 Sigue con nosotros
El cambio de la IA local no termina aquí — se acelera. Para no quedarte atrás, intercambia ideas, muestra tu lab y descubre el próximo buen modelo junto a quienes también están construyendo soberanía.
Entrar en INEMA.CLUB →