🌍 De LLM a robots que actúan: el gran panorama
La evolución de la IA: de modelos que solo escriben texto a agentes que ven el mundo y manipulan objetos físicos. Este módulo construye el mapa mental que sustenta todo el resto del curso.
Diagrama ilustrativo — cada salto añade una modalidad: primero visión en la entrada, luego acción en la salida.
🧬 Del lenguaje a la acción: LLM → VLM → VLA
La progresión de modelos que procesan solo texto (LLMs) para modelos que también ven (VLMs) y, finalmente, para modelos que generan acciones motoras en el mundo real (VLAs). Cada salto agrega una modalidad: entender esta cadena es la base de todo lo que viene después en el curso.
🔑 Las tres siglas que nunca volverás a olvidar
- LLMLarge Language Model. Procesa secuencias de tokens de texto. Entra texto, sale texto. Ej.: GPT-3, LLaMA.
- VLMVision-Language Model. Añade un codificador visual para procesar imágenes junto con el texto. Ej.: GPT-4V, LLaVA.
- VLAVision-Language-Action. Amplía el VLM con un action head que decodifica tokens en comandos motores continuos: posición (x,y,z) y rotación del gripper.
💡 Por qué esto importa
Sin claridad sobre qué cambia entre GPT-4V y RT-2, es imposible evaluar arquitecturas VLA o decidir qué modelo usar en un proyecto real. La diferencia no es «una función más»: es una nueva modalidad de salida: acción.
🪢 La brecha entre entender y actuar
Existe un abismo entre comprensión semántica (saber qué es un vaso) y competencia motora (tomar el vaso sin derramarlo). Los VLMs entienden escenas con precisión, pero no traducen esa comprensión en acciones físicas coordinadas. Los VLAs existen para cerrar esa brecha.
✓ Lo que un VLM ya resuelve
- ✓Reconocer que hay un vaso sobre la mesa
- ✓Describir la escena en lenguaje natural
- ✓Responder «¿dónde está el vaso?»
✗ Lo que aún falta (y el VLA aborda)
- ✗Calcular la trayectoria del brazo hasta el vaso
- ✗Ajustar la fuerza del gripper en tiempo real
- ✗Corregir el movimiento cuando la taza se resbala
Tres conceptos para nombrar la brecha
Anclar conceptos abstractos en percepciones sensoriales concretas.
Diferencia entre el rendimiento en simulación y en el mundo real.
Ajustar acciones continuamente según el feedback sensorial.
🏗️ Modelos fundacionales para robótica
El paradigma de foundation models (preentrenamiento a gran escala + fine-tuning) aplicado a la robótica. En vez de entrenar desde cero para cada tarea y robot, se parte de un modelo base entrenado con grandes volúmenes de datos de múltiples robots y entornos — y luego se adapta. Por eso los VLAs se volvieron viables.
📊 Por qué el preentrenamiento transfiere tan bien
- Transfer learning — reutiliza conocimiento de dominios ricos en datos (internet) para dominios con pocos datos (robótica).
- Preentrenamiento multimodal — combina visión y lenguaje en una representación unificada.
- Cross-embodiment — un único modelo controla robots con morfologías diferentes.
💡 Consejo práctico
Las representaciones ricas provenientes de internet se transfieren sorprendentemente bien al control motor, incluso con pocos datos de demostración. En la práctica: rara vez entrenas un VLA desde cero; haces fine-tuning de un modelo base.
🖐️ Affordances: lo que el robot PUEDE hacer
Concepto de la psicología ecológica de J.J. Gibson adaptado a la robótica: capacidades de acción son las posibilidades de acción que ofrece un objeto o entorno. Un vaso "permite" agarrarlo; una puerta, abrirla. Detectar affordances es identificar qué acciones físicamente viables en la escena actual.
Diagrama ilustrativo — affordance detection separa lo que es posible de lo que solo se pide.
Conceptos clave
- Affordances visuales — asignan regiones de la imagen a acciones posibles (superficies agarrables, áreas navegables).
- SayCan (Google) — combina un LLM que propone acciones con una función de valor que filtra las físicamente viables.
- TAMP — Task and Motion Planning integra la planificación simbólica con la planificación de movimiento continuo.
🤖 Embodied AI vs IA no corporeizada
La distinción entre la IA que existe solo en el espacio digital (chatbots, generadores de imágenes) y la IA incorporada en cuerpos físicos que interactúan con el mundo real. Trabajar con VLAs exige cambiar la mentalidad: un error no es una respuesta incorrecta en un chat; es una colisión, la caída de un objeto, un riesgo de seguridad.
IA incorporada
- •Error = respuesta incorrecta, reversible
- •Sin física, sin latencia sensorial
- •Puede «intentarlo de nuevo» sin costo
IA incorporada
- •Error = colisión, caída, daño: irreversible
- •Física newtoniana, desgaste mecánico
- •Consecuencias reales en cada acción
Conceptos clave
La verdadera inteligencia requiere un cuerpo que interactúe con el entorno.
Regularidades entre las acciones y los cambios sensoriales que aprende el agente.
La brecha entre la simulación y el mundo real dificulta el despliegue.
📅 Cronología: de GPT a humanoides autónomos
En solo 3 años pasamos de "los LLM no controlan robots" a "los VLA generalistas controlan múltiples embodiments". Conocer la cronología ayuda a calibrar las expectativas y proyectar dónde estaremos en 2027–2028.
GPT-3 y la era de los LLM
Los modelos de lenguaje a gran escala muestran capacidades emergentes. Nace la idea de «foundation model».
RT-2 (Google DeepMind)
Primer VLA destacado: transfiere conocimiento de la web al control robótico real. La acción se convierte en "un token más".
OpenVLA, π0 y Physical Intelligence
El open-source democratiza el acceso. Surge Physical Intelligence (π0). LeRobot y Octo abren el ecosistema.
Humanoides autónomos
Figure 02, GR00T y la explosión de startups de robótica. Las VLAs generalistas controlan múltiples embodiments.
💡 Conceptos para seguir la curva
Scaling laws investigan si más datos/parámetros mejoran el rendimiento motor como mejoran el lenguaje. Capacidades emergentes son habilidades que surgen al escalar sin haber sido entrenadas explícitamente. El ecosistema open-source democratiza lo que antes requería laboratorios con millones invertidos en hardware.
✅ Resumen del módulo
Siguiente módulo
1.2 — Anatomía de un VLA: visión + lenguaje + acción