Contenido detallado
🛰️ Dónde se ejecuta el modelo: nube vs local
La diferencia entre la IA en la nube y la IA local cabe en una pregunta: ¿dónde se realiza el cómputo? En la nube, tu texto sale de tu equipo, viaja por Internet y se procesa en el centro de datos de otra empresa. En local, ese mismo proceso se ejecuta en tu propia computadora y nada tiene que salir de ahí.
Lee el diagrama en dos franjas. Arriba (rojo), el camino de nube: tu texto cruza internet hasta un servidor que no es tuyo y vuelve. Abajo (en verde), el recorrido local: prompt → tu GPU/CPU → respuesta, todo dentro del recuadro punteado — funciona incluso sin internet.
🔑 La idea central
Cambia el dónde y tú cambias todo lo que se deriva de él:
- •Local = sin tránsito: el prompt nunca atraviesa Internet, así que no hay copias en servidores ajenos.
- •Local = sin dueño externo: nadie entre tú y el modelo para cobrar, registrar o bloquear.
- •Local = funciona sin conexión: si se cae internet, la inteligencia sigue funcionando.
📦 Qué es un LLM, en concreto
Antes de “ejecutar en local”, conviene desmitificar qué es eso que se ejecuta. Un LLM no es magia ni un cerebro: en la práctica, es un archivo grande de números + un programa que lee texto y predice el siguiente fragmento. Saber esto elimina el miedo y explica por qué cabe (o no) en tu máquina.
🆕 ¿Eres nuevo por aquí?
"LLM" (Large Language Model) es el modelo de IA que funciona detrás de ChatGPT y similares. Lo forman dos partes:
- Pesos: un archivo enorme de números (los «parámetros») que guardan lo que aprendió el modelo. Eso es lo que descargas.
- Inferencia: el acto de usar los pesos para generar una respuesta: la «cuenta» que hace tu GPU/CPU por cada palabra. (Entrenar es otra cosa, mucho más cara; tú solo haces inferencia.)
- Token: el fragmento de texto que el modelo manipula; suele ser ~una sílaba o un fragmento de palabra. El modelo lee tokens y predice el siguiente, uno a la vez.
En esencia, generar texto es repetir un único paso, token a token:
Lee lo que ya existe
El modelo recibe tu prompt dividido en tokens y "mira" todos a la vez.
Predice el siguiente token
Con los pesos, calcula qué token tiene más probabilidades de aparecer a continuación. Esto es la inferencia: la parte que más exige a tu máquina.
Repite hasta terminar
Agrega el token generado y vuelve a empezar. Token tras token, nace la respuesta. Por eso el texto "se va escribiendo" en la pantalla.
✂️ Cómo el texto se convierte en tokens
La frase de abajo, dividida en tokens (cada | es una frontera aproximada):
Regla práctica: ~0,75 palabra por token en portugués. Recuérdalo — la "ventana de contexto" y el costo de memoria se miden en tokens (tema del módulo 1.4).
🔒 Privacidad real
La primera de las tres ventajas del entorno local es la más concreta: tus prompts y respuestas nunca salen de la máquina. No hay una copia en un servidor de terceros, no hay registros de conversaciones que no controles ni políticas de uso de datos más allá de las tuyas. Para algunos trabajos, esto deja de ser una comodidad y se vuelve un requisito.
✓ Local
- ✓El texto queda en el disco y en la memoria de tu máquina
- ✓Ningún registro de conversaciones en un servidor ajeno
- ✓Decides qué guardar y qué borrar
- ✓Nada se usa para entrenar el modelo de otra empresa
✗ Solo nube
- ✗El texto se transmite y es procesado por terceros
- ✗Los registros y la retención siguen la política de ellos
- ✗Los datos pueden alimentar el entrenamiento, según los términos
- ✗Una filtración del proveedor expone lo que enviaste
⚖️ Cuándo esto importa de verdad
- Legal: contratos, piezas, datos de clientes protegidos por secreto profesional.
- Salud: historias clínicas, exámenes, cualquier dato del paciente.
- Personal y financiero: diario, contraseñas en texto plano, extractos, secretos comerciales.
- Código propietario: la base de tu empresa no debería salir a un endpoint que no controlas.
💡 Consejo práctico
La privacidad no es «todo o nada». El patrón saludable: lo sensible se ejecuta localmente, lo trivial puede ir a la nube. La idea de usarlo localmente es que tú poder elegir — en lugar de enviar todo afuera por falta de alternativas.
♾️ Ilimitado: sin peaje por prompt
La segunda ventaja cambia tu economía. En la nube pagas por token — cada llamada tiene un medidor en marcha. Localmente, después del hardware, el costo marginal de un prompt más es básicamente electricidad. Esto parece un detalle, pero desbloquea una forma completamente nueva de usar la IA.
✓ Local (costo fijo)
- ✓Ejecutarlo todo el día no cambia la factura por llamada
- ✓Procesar 10 mil elementos por lotes es viable
- ✓Experimentar sin miedo a «gastar crédito»
- ✓Los agentes 24/7 se vuelven posibles (Ruta 4)
✗ Nube (costo por uso)
- ✗Cada token tiene un costo de entrada y salida
- ✗El uso continuo se convierte en una factura que se dispara
- ✗Te autocensuras para no gastar
- ✗Los límites de solicitudes interrumpen el batch a mitad de camino
⌨️ Prueba: un lote que en la nube te haría pensarlo dos veces
Objetivo: resumir 50 líneas de un archivo, una por una, sin mirar ningún medidor. (Funciona después de la Trilha 3, con Ollama instalado.)
Cómo verificar: procesa las 50 líneas en secuencia. La única "cuenta" que sube es la de tu medidor de electricidad — no se consumió ningún crédito de API. Este es exactamente el patrón que sustenta los agentes de la Ruta 4.
💡 Consejo práctico
"Ilimitado" está dentro de los límites de tu hardware: una máquina ejecuta un modelo a cierta velocidad. No pagas por token, pero pagas por tiempo y energía. La ventaja es que el costo es predecible y no aumenta con cada llamada.
🛡️ No te lo pueden quitar
La tercera ventaja es la más subestimada: el modelo que está en tu disco no desaparece. Una vez descargado, no depende de una suscripción activa, de que el proveedor siga existiendo, de que tu región esté habilitada ni de un precio que podría duplicarse mañana. La inteligencia se convierte en un bien tuyo.
✓ Es tuyo, se queda
- ✓Sin suscripción para cortar el acceso
- ✓Sin bloqueo por país o región
- ✓Sin que te sorprenda un cambio de precio o de política
- ✓Funciona incluso si el proveedor desaparece del mapa
✗ Prestado, puede irse
- ✗Cuenta suspendida = cero acceso, sin aviso
- ✗El modelo queda "retirado" y te quedas sin él
- ✗El precio sube y el presupuesto no alcanza
- ✗El bloqueo regional te deja fuera
🤝 La parte sincera: el poder trae responsabilidad
La soberanía no es solo una ventaja. Cuando la inteligencia es tuya, el mantenimiento también lo es:
- Tu uptime: si tu máquina se apaga, el "servicio" se cae: no hay soporte al que llamar.
- La seguridad es tuya: mantener seguro el lab (red, acceso) es tu tarea: tema de la Trilha 2.
- La actualización es tuya: descargar mejores modelos cuando salgan depende de ti.
🧭 Cuándo NO usar modelos locales
La honestidad cierra el módulo. El modelo local es potente, pero no es la única respuesta para todo. Hay casos en los que la nube todavía gana, y reconocerlo es lo que distingue la soberanía madura del dogma. Usa este flujo sencillo para decidir en cada caso:
El flujo no es "siempre local". Es: datos sensibles o uso intensivo → local; máxima inteligencia, sin hardware o para uso esporádico → nube (o un híbrido). La soberanía consiste en tener la base local y usar la nube por elección.
🚩 Señales de que la nube es la opción adecuada
- Máximo absoluto: la tarea exige el modelo más inteligente que existe hoy; no sirve nada menos.
- Sin hardware: todavía no tienes una máquina para el tamaño de modelo que necesitas.
- Uso poco frecuente: una pregunta de vez en cuando no justifica montar y mantener un lab.
📝 Prueba: el test de «¿mandaría esto afuera?»
Objetivo: sentir, en la práctica, dónde lo local es un requisito para ti. Toma papel (o un archivo) y anota lo que no pegarías en un chat en la nube hoy. Empieza con estas preguntas:
- ›¿Qué documentos de trabajo contienen datos de clientes o información confidencial?
- ›¿Qué código de tu empresa no debería salir a un endpoint externo?
- ›¿Qué aspecto personal (salud, finanzas, diario) te gustaría que quedara solo para ti?
Cómo verificar: todo lo que entró en esa lista es, en la práctica, tu fila de tareas para la IA local. Guárdala: se convierte en tu «porqué» concreto a lo largo del curso.
Autoevaluación (opcional): ¿cuál es la diferencia esencial que define la «IA local»?
📌 Resumen del módulo
Siguiente módulo:
1.3 — ¿La IA local es menos capaz o más lenta? El elefante en la habitación