Contenido detallado
🗣️ La objeción honesta
Enfrentemos al elefante antes de cualquier entusiasmo: si tomas el modelo abierto más potente que cabe en una laptop y lo comparas con lo mejor de la nube (Opus, GPT o Gemini, en su mejor versión), el modelo en la nube aún gana en razonamiento difícil y responde más rápido. Negarlo sería vender una ilusión. La buena noticia es que esta frase tiene tres asteriscos que lo cambian todo.
⚖️ La comparación justa (y la injusta)
Casi toda decepción con la IA local nace de una comparación injusta: ejecutar un modelo de 7B en una laptop y esperar que piense como un modelo de frontera que ocupa cientos de gigabytes en un centro de datos. Son pesos de categorías diferentes.
La pregunta correcta no es «¿lo local iguala a lo mejor?», sino "¿lo local es suficientemente bueno para ESTA tarea?". Para la mayoría de las tareas cotidianas, la respuesta sorprende.
✗ Dónde lo local todavía se queda corto
- ✗Razonamiento en varias etapas para problemas realmente difíciles
- ✗Velocidad bruta (tokens/s) en hardware modesto
- ✗Conocimiento enciclopédico del mundo en el menor tamaño
- ✗Código complejo de producción en una sola pasada
✓ Dónde lo local ya cumple
- ✓Resumir, reescribir, traducir, clasificar texto
- ✓Borradores, correos electrónicos, lluvia de ideas, extracción de datos
- ✓Embeddings y búsqueda semántica (RAG) sobre tus archivos
- ✓Tareas repetitivas en volumen: donde gana el 24/7 ilimitado
💡 Consejo práctico
No tomes «tonto» y «lento» como verdades fijas: son relativos al tamaño del modelo, la cuantización y tu hardware. Un mismo modelo puede parecer lento en una laptop y volar en una GPU. Espera a probarlo en tu máquina y con tu tarea antes de juzgarlo.
Conceptos clave
📈 ...pero la distancia se está acortando rápido
El elefante se está encogiendo. Lo que hace un año era "frontera cerrada" hoy aparece en un modelo abierto que descargas gratis. Familias como Qwen (Alibaba), Llama (Meta), DeepSeek, GLM (Zhipu/Z.ai) y Gemma (Google) mejoran su calidad con cada generación, y la distancia respecto al nivel más alto de los modelos cerrados se reduce mes a mes.
Lo que era la frontera se vuelve abierto
Capacidades que solo existían en los modelos pagos de gama alta (razonamiento paso a paso, contexto largo, código) llegan a versiones abiertas — DeepSeek-V3/R1, Qwen3, Llama 3.x, GLM-4.x — meses después, no años.
Los pequeños se vuelven más listos
Los modelos de 3B a 8B (Gemma, Qwen, Phi) hoy hacen lo que hace poco requería 30B. "Pequeño" dejó de ser sinónimo de "inútil".
"Lo suficientemente bueno" ya llegó
Para la mayoría de las tareas reales, la diferencia con los modelos pagos de primer nivel se volvió imperceptible; y lo que les falta en inteligencia máxima, los modelos locales lo compensan con privacidad, costo y disponibilidad.
💡 Consejo práctico
La foto de hoy no es la película completa. Un modelo que te decepcionó hace seis meses puede haber recibido una versión nueva mucho mejor. Vale la pena volver a probar periódicamente — la curva de mejora de los modelos abiertos es pronunciada y continua.
Conceptos clave
🔺 El triángulo: inteligencia × velocidad × costo
Existe un triángulo de hierro en IA: inteligencia, velocidad y costo. Rara vez llevas las tres al máximo al mismo tiempo; en la práctica, eliges dos. El detalle que cambia todo: ejecutar localmente reescribe el vértice del costo, y eso cambia por completo la decisión.
Lee el triángulo así: cada lado conecta dos vértices que puedes maximizar juntos, y el tercero es a lo que renuncias. Local no incumple la regla, pero reduce el costo a casi cero, así que queda presupuesto para alternar entre «rápido y simple» (modelo pequeño) e «inteligente y lento» (modelo grande) sin pagar un costo extra por uso.
Sacrifica costo. Es el nivel más alto de la nube de pago: pagas por token y, a escala, eso pesa.
Sacrifica velocidad. Modelo local grande en hardware modesto: excelente resultado, pero lento.
Sacrifica el pico de inteligencia. Modelo local pequeño: vuela, cuesta casi nada y resuelve lo trivial.
🔓 Por qué esto cambia la economía
Cuando el costo por uso llega a cero, las decisiones que antes eran costosas se vuelven triviales: ejecutar el modelo grande «por la noche, sin prisa» para tareas pesadas y el pequeño «al instante» para el resto. La nube te obliga a optimizar cada llamada; el modelo local te permite desperdiciar inteligencia gratis — y eso es una enorme libertad.
Conceptos clave
🪜 El ciclo del hardware cambió
Antes la regla era cruel: tu hardware quedaba obsoleto en 2-3 años y no había remedio. En IA local, se invirtió el sentido. En vez de que solo envejezca el hardware, los modelos se vuelven más eficientes y hacen que una máquina de hace 5 años vuelva a ejecutar cosas útiles. Es una escalera de eficiencia que sube sola.
🆕 ¿Eres nuevo por aquí?
"Cuantización" es reducir los pesos del modelo (de alta a baja precisión) para que quepa en menos memoria; pierdes un poquito de calidad y ganas mucho espacio. "Destilación" es entrenar un modelo pequeño para que imite a uno grande, heredando buena parte de su capacidad en un paquete liviano. Los dos hacen que el hardware antiguo vuelva a rendir.
Lee la escala de izquierda a derecha: la misma máquina antigua sube escalones de eficiencia —cuantización, modelos más pequeños, destilación— y llega hasta arriba volviendo a ejecutar algo útil. Cada mejora de software es un escalón que ganas sin cambiar de hardware.
✗ Ciclo anterior
- ✗El hardware quedaba obsoleto en 2-3 años
- ✗El software exigía cada vez MÁS de la máquina
- ✗La única salida: comprar una pieza nueva
✓ Ciclo de la IA local
- ✓Los modelos se vuelven más eficientes con cada generación
- ✓La misma máquina ejecuta modelos mejores con el tiempo
- ✓Actualizas descargando un archivo, no cambiando una pieza
Conceptos clave
📊 Benchmarks: cómo leerlos sin engañarte
Toda tabla de "modelo X supera al modelo Y" sale de benchmarks. Ayudan a comparar, pero un número atractivo en una tabla no garantiza que el modelo sea bueno para TU tarea. Saber leer benchmarks con escepticismo es lo que distingue a quienes eligen bien de quienes caen en el marketing.
🆕 ¿Eres nuevo por aquí?
"Benchmark" es una prueba estandarizada que mide la capacidad de un modelo en una habilidad. Las más conocidas: MMLU (conocimiento general de opción múltiple), GPQA (preguntas científicas difíciles), HumanEval (escribir código), GSM8K (matemáticas). Cada uno se convierte en un porcentaje, y ahí está el peligro.
✗ Trampas comunes
- ✗Contaminación: el modelo ya vio las respuestas de la prueba durante el entrenamiento → calificación inflada
- ✗Cherry-pick: solo muestran los benchmarks en los que ganan
- ✗0,5% de diferencia: ruido, no superioridad real
- ✗Comparar cuantizaciones diferentes como si fueran el «mismo» modelo
✓ Cómo leer correctamente
- ✓Usa el benchmark para filtrar candidatos, no para decidir
- ✓La prueba que importa es la tu: ejecútalo en tu tarea real
- ✓Prefiere evaluaciones abiertas y comunitarias (arenas de votación a ciegas)
- ✓Compara con la misma cuantización y el mismo prompt
⌨️ Ejemplo práctico: tu «mini-benchmark» personal
Objetivo: comparar dos modelos en la MISMA tarea, con el MISMO prompt — el único benchmark que realmente cuenta es el de tu tarea. (Lo haces en la Ruta 3; aquí solo es para ver la idea.)
Cómo verificar: compáralos lado a lado: ¿cuál siguió la regla de los 3 bullets y el límite de palabras? ¿Cuál inventó un hecho? ¿Cuál fue más rápido? Ese es el resultado lo que decide, no el porcentaje de la tabla.
Conceptos clave
🎚️ Ajustando las expectativas según el caso de uso
Aquí está la síntesis práctica del módulo: la pregunta no es «¿lo local es bueno?», sino «¿lo local es bueno para ESTO?». Algunas tareas funcionan muy bien hoy en tu máquina; otras todavía requieren lo mejor de la nube. La tabla de abajo es tu mapa de calibración.
🗂️ Tarea → ¿viable en local?
✓✓✓ excelente incluso con hardware modesto · ~ requiere un modelo grande/hardware potente · ✗ todavía es territorio de los modelos pagos de gama alta. (Rangos en miles de millones de parámetros; cuantización Q4 detallada en la Trilha 1.4 y 3.3.)
✓ Envíalo a lo local
- ✓Todo lo privado y sensible (legal, salud, personal)
- ✓Todo lo que se ejecuta a gran escala / 24/7 (conviene que el costo sea cero)
- ✓Tareas «bien definidas»: resumen, clasificación, extracción
✗ Por ahora, usa la nube
- ✗Máximo absoluto de razonamiento ante un problema nuevo y difícil
- ✗Uso poco frecuente y esporádico sin hardware adecuado
- ✗Código de producción extenso que debe quedar bien a la primera
💡 Consejo práctico
No es «local O nube»: es local por defecto, nube por excepción. Empieza todo en local; pasa a la nube solo cuando la tarea realmente requiera el máximo rendimiento. Con el tiempo, la columna "depende" se irá convirtiendo en "sí", porque los modelos mejoran y tu máquina no cambia.
Autoevaluación (opcional): ¿cuál es la forma más honesta de evaluar si un modelo local te sirve?
Conceptos clave
📌 Resumen del módulo
Siguiente módulo:
1.4 — Anatomía de un LLM local