La Guía de IA Local
Ingeniería Guía
Ejecuta IA de nivel avanzado en un hardware que te pertenece.
Cuatro maneras de lograrlo: la Guía es la referencia completa, el Recorrido cuenta la historia de la compilación de principio a fin, Motores es cómo elegir un motor de inferencia.
Nuevo y el más claro de todos: una página complementaria de planos de arquitectura, con un diagrama del sistema y una explicación en lenguaje cotidiano para cada configuración, desde una sola laptop hasta un clúster doméstico.
Empieza aquí en 60 segundos
La IA de gran escala suele funcionar en la nube de otra persona. Eso cuesta dinero, puede cambiar o dejar de funcionar sin previo aviso y significa que tus datos salen de tus manos. Esta guía trata sobre cómo ejecutarla en tu propia computadora: más barato, privado y tuyo. La contrapartida es que tú lo configuras y te encargas de mantenerlo.
La idea completa en tres pasos:
- Ejecuta un modelo en tu propia máquina con un programa gratuito (llama.cpp), en la computadora que ya tienes.
- Apúntale tu herramienta de IA cambiando una configuración para que use tu modelo en lugar de la nube.
- Añade más solo cuando sea necesario: velocidad, más usuarios, trucos para bases de código grandes o seguridad, una cosa a la vez.
Todo lo que sigue detalla esos tres pasos. ¿Eres nuevo? Consulta la guía o el planos de arquitectura primero.
Toda la pila en una vista general
Este es el mapa de todas las piezas y cómo se organizan. No necesitas todas las capas. La mayoría de las personas usa solo las de abajo (una máquina, un motor, un modelo) y agrega las superiores cuando se topa con un límite.
La ingeniería de IA local va más allá de instalar una app de chat. Hay una pila completa debajo, y esta guía la cubre de principio a fin.
Por qué usar IA local
El argumento no es «lo local es más inteligente que Claude». Es «ciertos razonamientos nunca deberían llegar a la API de otra persona», además de las ventajas económicas concretas. El subsidio es una trampa: la programación barata en la nube estaba subsidiada por capital de riesgo y la factura está por llegar.
- La nube no es determinista y su rendimiento se degrada sin avisar. Un experimento de $43 descubrió que la calidad de salida es "una onda sinusoidal de genialidad y galimatías" vinculada a la carga y la hora del día: cuantización agresiva hasta 2-bit, GPU spin-down, system prompts intercambiados. Lo local es "determinísticamente tonto", pero predecible y tuyo.
- El riesgo del proveedor es real y puede aparecer de repente. Caídas del servicio, cambios en la retención de datos de 5 años, límites de uso semanales, suspensiones por controles de exportación de modelos enteros. «La caída del servicio es temporal. Los pesos son para siempre».
- El contrapunto honesto. Lo local tiene que ver con la resiliencia y la privacidad, no con superar a los modelos de frontera en capacidad bruta. Ejecuta localmente lo que puedas y envía fuera solo los problemas realmente difíciles, valiosos y que se puedan comprimir. La opción híbrida también es la única solución real para la IA en la sombra.
Hardware
Un conjunto representativo de equipos va desde un «cajón de calcetines» hasta un «calefactor», todos son equipos reales bajo carga.
| Equipo | Silicio | Memoria | Rol |
|---|---|---|---|
| NVIDIA GB10 / ZGX Nano | Grace-Blackwell, CUDA cap 12.1 | 128GB unificada | Equipo compacto para agentes de uso diario. Del tamaño de la palma de la mano, de 33 a 74W, ejecuta DeepSeek V4 con contexto de 1M. |
| HP Z8 Fury G5 | Xeon + 4x RTX A6000 48GB | ~192GB VRAM / 477GB RAM | La «bestia». Récords de rendimiento, entrenamiento y MoE gigantescos. ~1.8kW, A6000s a entre 84 y 90C. |
| HP Z2 Mini G1a | AMD Ryzen AI MAX+ PRO 395 | 128GB unificada | El lado de AMD / ROCm. «Exocortex» de bolsillo. |
| MacBook Air / Pro | Apple Silicon M3 / M4 / M5 | 24 a 32GB | Cliente SSH ligero; modelos pequeños en Metal / MLX; inferencia WebGPU en el navegador. |
| ThinkPad X280 de 2018 | i5-8350U, solo CPU | 16GB | Prueba extrema en el borde: Qwen3-8B a ~3.27 tok/s, ~16W con batería. |
| clúster k8s "Z14 Mecha" | 1x Z8 + 3x Z2 (NVIDIA + AMD) | 564GiB VRAM | Kubernetes con proveedores mixtos, "un centro de datos en un clóset". |
- El hardware antiguo y la buena ingeniería ganan. "No es el auto, es quien lo conduce." Las A6000 de hace 5 años superan en rendimiento a las API SaaS.
- Fuerza más VRAM en Ryzen AI 395. Tiene una capacidad nominal de 96GB, pero un modo de BIOS «edge AI server» y ajustes de Linux GTT / TTM liberan el conjunto completo de 128GB: Qwen3-Coder-30B BF16 con un contexto de 1M, 115GB de uso de memoria y 24.4 tok/s.
- Vigila las temperaturas en Strix Halo. Se apagó por temperatura porque thermald no reconocía el nuevo CPUID; la solución fue thermald --ignore-cpuid-check.
- La red es el cómputo. Una A6000 se puede compartir por LAN con una ThinkPad mediante un controlador de GPU virtual, tunelizando CUDA por QUIC / TLS / UDP. DGX Spark es un juguete para aprender, no para producción.
Inferencia y puesta a disposición
Un motor de inferencia es el programa que ejecuta el modelo: carga los pesos, recibe tu solicitud y transmite la respuesta. El modelo es el bloque del motor; esto es todo el auto que lo rodea. vLLM es el de servicio pesado, diseñado para muchos usuarios a la vez. llama.cpp es el todoterreno que funciona en casi cualquier equipo.
vLLM
El motor de serving para producción. Rutas compatibles con OpenAI, Anthropic y Ollama, batching continuo, prefill por bloques y caché de prefijos. Compilado desde el código fuente para modelos disponibles desde el primer día.
llama.cpp
El motor más fácil de usar y para el edge. GGUF, llama-server, funciona con CUDA / Metal / ROCm / Vulkan. Código fuente editado directamente para trabajar con KV y cuantización.
SGLang
Decodificación especulativa EAGLE, parsers de herramientas y razonamiento de GLM. Una ruta de servicio para modelos específicos.
ktransformers
Descarga híbrida a VRAM + RAM para modelos enormes. Así ejecutó Kimi K2, con 1T de parámetros, de forma local.
AIBrix
plano de control nativo de k8s: escalado automático con conocimiento de LLM, enrutamiento distribuido de caché KV, LoRA de alta densidad. Una «plataforma de IA empresarial» capaz.
shim fake-ollama
Un proxy de Rust / axum que hace que Copilot, Cline y Roo crean que hablan con Ollama mientras el tráfico llega a vLLM / llama.cpp.
El patrón plug-and-play que se repite constantemente: apunta cualquier agente de programación basado en la nube a un endpoint local.
exportar ANTHROPIC_BASE_URL=http://localhost:8080 # llama.cpp
exportar ANTHROPIC_BASE_URL=http://localhost:8000 # vLLM
# Claude Code ahora "simplemente funciona" con tu propio modelo
Cuando un agente solo habla un dialecto, ponle una capa de compatibilidad. Claude Code Router (ccr) traduce Claude Code a backends compatibles con OpenAI; fake-ollama cubre el dialecto de Ollama. Las configuraciones serias evitan Ollama y prefieren vLLM y llama.cpp para tener más control.
La división que lo determina todo es entre prefill y decode. Prefill lee el prompt y está limitado por la capacidad de cómputo. Decodificación genera un token a la vez y está limitado por el ancho de banda de memoria. Un prompt corto con una respuesta larga depende del ancho de banda y del procesamiento por lotes; un prompt largo con una respuesta corta depende de los kernels de atención y del prellenado por fragmentos. Adapta el motor a esa forma, a tu interconexión y a tu formato de cuantización.
| Tu situación | Usa |
|---|---|
| Laptop, edge o hardware poco común | llama.cpp |
| Flujos centrados en Mac | MLX / MLX-LM |
| Inferencia local en una sola RTX | ExLlamaV2 |
| De 2 a 4 o más GPUs NVIDIA/CUDA | ExLlamaV3 |
| Inferencia general en producción | vLLM |
| Contexto largo / MoE / enrutamiento | SGLang |
| Máximo rendimiento en NVIDIA | TensorRT-LLM |
| Orquestación de clúster | NVIDIA Dynamo |
Esa es la versión de una página. La Pestaña Engines incluye el desglose completo motor por motor, los cuellos de botella reales, recetas de estrategia de hardware y cómo medirlos con honestidad.
El panorama de los modelos de pesos abiertos
Estos son los cerebros reales que puedes descargar y ejecutar, en su mayoría gratis y abiertos. Los nombres cambian cada pocas semanas, pero la regla no: elige el más pequeño que haga bien tu trabajo, no el más grande que encuentres.
Qwen3.x / 3.6
La familia estrella, de 0.6B a 480B-A35B. Qwen3-Coder-Next (~80B / 3B activos) es el asistente de programación diario predeterminado. "Qwen es el nuevo Llama."
GLM-4.x / 5
Z.ai, MIT. «Opus en casa». GLM-4.7-Flash es la opción «rápida, buena y barata»; superó a los demás en llamadas a herramientas por una fracción del costo de Opus.
DeepSeek V3.x / V4
"Alma de desarrollador sénior de una empresa del Fortune 500" para backends. V4-Flash: 284B / 13B activos, contexto de 1M, Sparse Attention ~9x más barato.
Kimi K2.x
Moonshot, 1T / 32B activos. Nativo para enjambres de agentes, hasta 300 subagentes en paralelo.
MiniMax M2.x
~230B / 10B activos. «Anthropic en una botella», reducido con NVFP4 para que quepa en un solo GB10.
Gemma 4 / Nemotron
Híbridos de Mamba-Transformer de Google con licencia Apache-2.0 y NVIDIA. Además: Ling / Ring, ERNIE, Hunyuan, LongCat.
- La eficiencia es la nueva escalabilidad. Más grande no significa mejor. Un modelo denso de 27B o un MoE con 3B activos en la frontera de Pareto supera a un gigante de 1T para la mayoría de los trabajos.
- Adapta el modelo al idioma y al trabajo. DeepSeek para backends empresariales, no para JavaScript de startups. Modelos pequeños y diminutos para tareas de agentes repetitivas y específicas.
- Los benchmarks públicos rara vez predicen si algo se adapta a tus necesidades. La eficiencia en tokens, el costo y la facilidad de uso en tus propias tareas son mejores criterios de selección.
- La dispersión de MoE es la clave. Una enorme cantidad total de parámetros y muy pocos parámetros activos por token es lo que permite que un comportamiento de vanguardia quepa en la memoria de un equipo de consumo.
Evalúalo tú mismo: evaluaciones
Que un modelo esté en lo más alto de una tabla de clasificación pública casi no te dice nada sobre si es bueno para tu trabajo. La solución es una evaluación: un conjunto pequeño de tareas reales tuyas por el que haces pasar cada modelo candidato, y luego te quedas con el que gana en esas tareas, no en el gráfico.
Cómo hacer una evaluación rápida sin framework: reúne entre 10 y 30 tareas que realmente haces (un error real que corregir, una función que escribir, un documento que resumir), cada una con la respuesta que aceptarías. Ejecuta todos los modelos candidatos con todas ellas. Califícalos como aprobados o reprobados, o simplemente compara las salidas A/B para decidir cuál implementarías. Conserva el ganador en tu conjunto de tareas. Ese resultado vale más que cualquier benchmark, porque se mide con el trabajo que te importa.
Funciona en ambos sentidos, y ese es precisamente el punto. A veces, los modelos abiertos ya superan a los modelos insignia cerrados en evaluaciones del mundo real (un modelo abierto superó hace poco a un modelo cerrado de primer nivel en una evaluación de un framework web en producción), y a veces no superan los tuyos. Solo lo averiguas probándolos con tus propias tareas. Para calificar a gran escala, puedes usar un modelo potente como evaluador, pero normalmente basta con revisar 20 ejemplos para decidir.
Compresión
Los modelos y la memoria que necesitan son enormes, así que los haces más pequeños. La cuantización almacena los números con menos precisión, como guardar una foto en un JPEG más pequeño: es un poco menos exacto, pero ocupa menos espacio y aún se ve bien. La caché KV es la memoria a corto plazo que el modelo tiene de la conversación actual; comprimirla es lo que permite que un contexto enorme quepa en una tarjeta gráfica pequeña.
Aquí es donde la ingeniería local se vuelve difícil y se consiguen la mayoría de las mejoras. Formatos de pesos: GGUF (Q2_K a Q8_0), AWQ de 4 bits, FP8, NVFP4 / MXFP4 y ternario BitNet de 1.58 bits.
APEX
Precisión mixta consciente de MoE en llama.cpp estándar. Los bits por experto y por capa superan a Q8_0 e incluso a F16 en perplejidad, con la mitad del tamaño.
Destilación de BitNet
Convierte LLM FP a ternario de 1.58 bits: ~10x menos memoria, inferencia en CPU 2.65x más rápida y precisión cercana a FP16.
Personalizado de 2 bits
Un GGUF personalizado de DeepSeek-V4 (IQ2XXS-w2Q2K) es lo que hace que un modelo de 284B quepa físicamente.
TurboQuant (el método de Google, implementado en la ruta Triton de vLLM) comprime la caché KV a entre 2.5 y 3.5 bits por token mediante el manejo de valores atípicos, una transformación MSE de Hadamard, codebooks de agrupamiento de Lloyd y una proyección de signo de 1 bit con QJL. Esto fue lo que mantuvo 4.7M tokens of KV cache resident para alcanzar 3,426 tok/s.
vllm serve /models/target \
--tensor-parallel-size 4 --attention-backend TRITON_ATTN \
--kv-cache-dtype turboquant35 --enable-turboquant \
--turboquant-metadata-path /models/target/turboquant_kv.json
Ingeniería de contexto
El contexto es todo lo que el modelo puede ver a la vez. Como un escritorio, deja de funcionar cuando lo llenas demasiado. El truco es dejar de volcar toda la base de código en el escritorio y permitir que el modelo busque solo las pocas páginas que necesita, justo cuando las necesita.
RLM
Modelos de lenguaje recursivos. Carga una base de código de 32M tokens en una variable de Python REPL; el modelo raíz escribe código para recorrerla y crea subagentes que devuelven símbolos resumidos, no muros de texto. Entre un 15% y un 40% en tareas de largo plazo, sin degradación del contexto.
MemAgent
El megacontexto es un problema de memoria, no de atención. RL por fragmentos sobre una memoria de tokens fija: QA de 3.5M tokens con menos del 5% de pérdida y escalado lineal, en un modelo base con un contexto de apenas 8K.
Compresión óptica
El «momento JPEG». Renderiza texto como imágenes para un VLM. DeepSeek-OCR: decodificación del 97% con una compresión de 10x. Glyph: 10k palabras convertidas en ~3k tokens visuales.
Atención dispersa
DeepSeek Sparse Attention reduce el prefill de 128K de ~$0.70 a ~$0.10 por Mtok.
Un awk comando de una línea contra vLLM /metrics lo demuestra: prefix_cache_hits_total / prefix_cache_queries_total. La idea: el costo marginal es casi cero, así que los límites son puro teatro de precios.
La ingeniería de contexto se ocupa de una sola conversación. Para el conocimiento que debería persistir entre sesiones, crea una capa de memoria privada completamente en tu propia máquina: embeddings locales para indexar tus notas y documentos, además de un reordenador local que vuelve a ordenar los resultados más relevantes para que el modelo vea los pocos fragmentos mejores, no solo los que se parecen. El reordenador es la parte que la mayoría se salta, y es lo que hace que la recuperación local sea precisa. Nada sale de tu máquina.
Los modelos locales también procesan voz e imágenes. Los modelos multimodales abiertos (de la clase Gemma) interpretan imágenes y funcionan completamente sin conexión; los modelos de voz en el dispositivo te permiten dictar y transcribir de forma privada, sin la nube. Se aplican las mismas reglas para ser dueño de tu IA: elige un modelo adecuado, ejecútalo localmente y mantén los datos en la máquina.
Optimización del rendimiento
El rendimiento es la cantidad de palabras por segundo que obtienes. Lo sorprendente es que el límite suele ser la velocidad con que la máquina mueve datos en la memoria, no la rapidez con que hace cálculos. Así que las mejoras reales vienen de una organización y planificación más inteligentes, no de una tarjeta gráfica más grande.
- Pilas de decodificación especulativa. DFlash (generación preliminar con difusión por bloques, aceleración de ~6x) más DDTree (árbol de borradores en una sola pasada, verificación con atención de árbol, sin pérdida). Observa la longitud media de aceptación en los registros.
- La ubicación de los expertos de MoE está limitada por HBM (limitado por la velocidad a la que la memoria de la tarjeta mueve datos, no por sus cálculos). Para alcanzar 370 TPS con 4x A6000: fija el hilo del router a la memoria más cercana, reorganiza la caché KV para que los expertos activos queden en los bancos de memoria más rápidos y establece la profundidad de la cola en ~64 para ocultar la latencia.
- Separación entre daemon diurno y nocturno. Baja latencia interactiva durante el día, trabajo por lotes asíncrono con contexto largo por la noche, el mismo hardware.
| Configuración | Resultado |
|---|---|
| Qwen3.5-35B AWQ, 4x A6000, TurboQuant 3.5 | 3,426 tok/s con contexto de 1M, caché KV residente de 4.7M tokens |
| MiniMax M2 BF16/FP8, 4x A6000, vLLM + AIBrix | 620 tok/s, 6,000 sesiones simultáneas con un 100% de éxito, ~1.8kW |
| GLM-4.7-Flash en un solo GB10 | ~1,470 tok/s generación máxima, 195 concurrentes, cero en cola |
| Gemma-4 31B AWQ en UNA A6000 | 129 simultáneas subagentes, 100% de éxito |
| DeepSeek V4-Flash, contexto de 1M, un solo GB10 | 80 a 91 tok/s por agente |
| Gemma4 2.3B en una pestaña del navegador (WebGPU, MacBook Air) | 80 tok/s, 2GB de RAM por pestaña, completamente sin conexión |
| Qwen3-8B en una CPU i5 de 2018 | 3.27 tok/s a ~16W |
Agentes de programación con modelos locales
El patrón siempre es el mismo: toma un agente diseñado para la nube y apúntalo a pesos locales.
Una vez que el endpoint es tuyo, la interfaz es portátil: cualquier dispositivo que pueda mantener una conexión puede funcionar como cliente, y una laptop puede ejecutar todo el ciclo completamente sin conexión con un modelo local pequeño.
Enjambres y orquestación
Un enjambre no es más que muchas copias del agente trabajando al mismo tiempo, que convierten a un trabajador en todo un equipo. La parte difícil ya no es el trabajo en sí, sino repartir las tareas y evitar que los trabajadores se estorben entre sí.
Con más de 10,000 agentes y una proporción de IA a personas de 35:1, no hay una interfaz de usuario humana; el backlog es el HUD.
- Enjambres. Iniciar, ejecutar, informar y terminar. Los enjambres autoorquestados reducen un análisis exhaustivo con OpenClaw de 3.5 horas y 19M tokens a ~10 minutos, con resultados idénticos en un 90%.
- Aislamiento. Un git-worktree por agente, o AgentFS (un archivo .db de SQLite que contiene archivos, estado y tool_calls, de modo que cp agent.db snapshot.db es viajar en el tiempo y puedes consultar el comportamiento del agente con SQL).
- El código heredado es un grafo, no un corpus de documentos. Una herramienta como dede expone un grafo de dependencias de Roslyn como una skill para que los agentes consulten el alcance del impacto en lugar de dividir a ciegas 40 repos en fragmentos RAG.
- Bucle sin interfaz gráfica. temporizadores de systemd más flock además de etiquetas de issues de Radicle como máquina de estados. Primero sin conexión; las personas hacen el merge al final.
Seguridad y confianza cero
Una vez que un agente puede ejecutar comandos, trátalo como a un nuevo pasante: es útil, pero no le darías todas las llaves el primer día. Esta configuración le permite sugerir acciones mientras un verificador las aprueba y una sala sellada contiene cualquier error.
Hyperlight
CNCF, Rust. MicroVM aisladas por hardware que se inician en ~1ms, con llamadas al entorno invitado en microsegundos y capacidad de guardar y restaurar instantáneas, para que un rm -rf alucinado se revierta en microsegundos.
Firecracker + AgentFS
aislamiento de microVM para agentes, verificado formalmente con Quint.
Aegis
Una barrera de instalación de confianza cero. Planes de ejecución firmados con Ed25519, registros de auditoría encadenados mediante hashes SHA-256, IA arquitectónicamente incapaz de escalar privilegios: nunca obtiene acceso root ni genera argv; se aplica mediante std::process::Command sin shell.
Higiene de la cadena de suministro
Fija cada artefacto a un SHA-256, desactiva los scripts del ciclo de vida de npm, genera un SBOM, firma con cosign y aplica controles con Trivy y semgrep. «¿Tu stack puede resistir pip install?»
Mejora personal y entrenamiento local
También puedes mejorar un modelo en tu propia máquina, no solo usarlo. El truco más barato es dejar que aprenda de sus propias mejores respuestas. No necesitas un centro de datos para conseguir una mejora real.
Autodestilación
Apple SSD: SFT con resultados propios del modelo sin verificar, sin RL, verificador, docente ni ejecución. Qwen3-30B pasó del 42.4% al 55.3% de pass@1 en LiveCodeBench, un +30% relativo.
GEPA + DSPy
La optimización genética de Pareto para prompts y skills converge en ~50 iteraciones frente a 5,000 pruebas de fuerza bruta y recopila automáticamente las sesiones de alto éxito.
Modelos recursivos diminutos
TRM (7M params, llamadas recursivas a sí mismo) alcanza un 45% en ARC-AGI-1, superando a modelos miles de veces más grandes. RSA mejora Qwen3-4B en +29.9 en AIME sin verificadores.
Entrenamiento desde cero
nanochat de principio a fin en 4x A6000. Bucles de RL con el verificador de préstamos de Rust (prompt, cargo check, recompensa) alcanzaron una tasa de compilación del 71.8% en un entorno aislado sin privilegios de root.
Cierra el ciclo
La forma más barata de mejorar por cuenta propia: dale al agente una manera de verificar sus resultados (pruebas, un compilador, un verificador) y luego haz que repita el ciclo. Redacta, verifica y corrige hasta que pase. Así es como los equipos ejecutan enjambres de agentes que mejoran por sí mismos, sin necesidad de entrenarlos.
Posentrenamiento abierto
Las pilas de RL detrás de los grandes modelos abiertos también son abiertas. Una de ellas ajustó posteriormente un modelo de clase frontier en unos dos días. Puedes usar las mismas herramientas para ajustar posteriormente tu propio modelo con tus propios datos.
Casos de uso relacionados
- Ingeniería inversa, completamente local. Ghidra más un agente local a 80 tok/s descompilaron un binario de 6.9MB en 110 segundos (9,426 funciones, más de 250 APIs de Windows, 7 documentos generados automáticamente). «Tres semanas de trabajo de ingenieros de ingeniería inversa se convierten en una mañana de domingo.»
- OCR privado. GLM-OCR (0.9B) supera a Gemini y GPT en el análisis de documentos mientras se ejecuta en vLLM.
- La privacidad como capacidad. Qwen3.5-35B local desanonimizó textos con una precisión de ~90%. La idea es que tu estilo de escritura es un dato biométrico, así que nunca debería salir de tu máquina. El mismo enfoque usó un modelo local y mitmproxy para aplicar ingeniería inversa a la API de una freidora de aire.
- IA de borde en tiempo real / OT. CASA: percepción a 100Hz, decisión a 10Hz, acción en menos de 10ms, con contratos de decisión (TTL, consenso multimodelo, una comprobación de cordura clásica con Z-score y un registro de auditoría SHA-256). «Un agente debería ser un controlador PID, no un estudiante de filosofía que escribe una tesis».
Esto es algo que solo puedes hacer en local. Como un modelo local es ilimitado y no tiene costo por llamada ni límite de solicitudes, puedes dejar agentes en ejecución las 24 horas. Hay quienes realizan análisis de seguridad continuos en su propio código, vigilan una base de datos para detectar anomalías y rastrean la web cada veinte minutos en busca de oportunidades, todo el día, todos los días. En las API en la nube eso costaría más que el hardware; en local, solo pagas la electricidad. Una flota de trabajadores incansables que nunca duerme: solo es posible cuando el modelo es tuyo.
Crea una malla privada (Tailscale) entre todas tus máquinas y tu teléfono, y cualquier dispositivo podrá usar desde cualquier lugar del mundo un modelo que se ejecute en tu equipo de casa, con conexión cifrada y sin pasar nunca por la internet pública. Combínala con un agente orquestador (Hermes u OpenClaw) que cargue modelos y distribuya el trabajo entre tus máquinas, como una persona de TI a la que le hablas en lenguaje natural. Así es como un montón de computadoras se convierte en una nube personal de IA que te pertenece.
Producción a escala
k8s + AIBrix
El plano de control. Autoescalado consciente de los LLM basado en gpu_cache_usage_perc, caché KV distribuida, KubeRay, LoRA de alta densidad.
Alta disponibilidad para un equipo
2x Ubuntu + MicroK8s, etcd on DRBD, Pacemaker VIP, LINSTOR, MetalLB, ArgoCD canary. Failover under 60s, serving Qwen3-Coder-30B at ~90 tok/s.
Fábrica de programación con IA
Definition of Done como criterios de compilación: bloquea las fusiones por debajo del 85% de cobertura; un agente de seguridad rechaza las PR vulnerables. "Trata la IA como un equipo de ingeniería."