VLA: robots que ven, entienden y actúan|INEMA.CLUB-PRO

Clase 1 · 14 min

De LLM a robot que actúa

Un chatbot devuelve texto. Un robot necesita devolver movimiento, decenas de veces por segundo, mirando una cámara. Esta lección separa las cuatro familias de modelos que vas a escuchar en el curso y muestra qué cambió entre 2023 y octubre de 2026.

Comenzar la lección
Laboratorio de robótica con una estación de dos brazos y un humanoide al fondo.

En esta lección vas a

  1. 1Qué entra y qué sale de cada familia de modelo
  2. 2Por qué un VLA devuelve acción y no texto
  3. 3Qué es un World Action Model, la categoría nueva de 2026
  4. 4Clasificar sistemas reales con la fuente al lado

Objetivo: distinguir LLM, VLM, VLA y World Action Model y decir qué cambió de 2023 a oct/2026.

01La escalera: del texto al movimiento

Cada nivel añade una entrada o una salida. Haz clic en cada uno.

Pregunta que resuelve la duda: ¿qué sale del modelo? Texto, acción o video + acción.

LLM y VLM responden. VLA y WAM actúan: la salida se convierte en comando de motor.

02Qué cambió de 2023 a octubre de 2026

Cuatro hitos. Haz clic en cada etapa.

1. Datos juntos

El Open X-Embodiment (2023) juntó decenas de datasets de laboratorios distintos en un solo formato. Fue la base para entrenar un modelo en varios robots.

En jun/2024 el OpenVLA, de 7B, fue preentrenado con 970 mil episodios de ese acervo, con pesos abiertos.

La ideaUn solo modelo, entrenado con datos de muchos robots, en lugar de un modelo por robot.

03La ficha de clasificación

Copia la tabla a un archivo tuyo y complétala en la práctica.

classificacao.md
| Sistema | Qué entra | Qué sale | Categoría | Fuente (URL) |
|---|---|---|---|---|
| OpenVLA | | | | |
| π0.5 (openpi) | | | | |
| Gemini Robotics-ER 1.6 | | | | |
| DreamZero | | | | |
| Cosmos 3 | | | | |
| SmolVLA | | | | |
Simulación: ejemplo ilustrativo
  • OpenVLA: cámara + frase → acción. VLA. openvla.github.io
  • π0.5: cámara + frase + estado → acción. VLA. github.com/Physical-Intelligence/openpi
  • Gemini Robotics-ER 1.6: imágenes + pregunta → razonamiento espacial, puntos, lectura de instrumentos. Modelo de razonamiento incorporado (familia VLM): no mueve el robot por sí solo. deepmind.google/blog/gemini-robotics-er-1-6/
  • DreamZero: cámara + frase → video futuro + acción. WAM. arxiv.org/abs/2602.15922
  • Cosmos 3: world foundation model que une generación de mundo, razonamiento y predicción de acción; sirve de base para WAM. huggingface.co/nvidia/Cosmos3-Super
  • SmolVLA: cámara + frase + estado → acción. VLA pequeño (450M). huggingface.co/blog/smolvla

04Práctica: clasificar seis sistemas reales

Usa solo fuentes primarias: blog oficial, paper o model card.

E1 · Completar la ficha

20 min

Copia la tabla, abre la fuente de cada sistema (los enlaces están al final de la clase) y completa qué entra, qué sale y la categoría.

Listo cuando: las 6 filas tienen categoría y una URL de fuente primaria, y tu respuesta coincide con las respuestas en al menos 5.

E2 · La pregunta que decide

5 min

Para el sistema en el que te equivocaste o tuviste dudas, escribe una frase: ¿qué sale de él?

Listo cuando: la frase dice texto, acción o video + acción, y eso explica la categoría.

05Prueba lo que aprendiste

La explicación aparece después de tu respuesta.

Pregunta 1 de 4

¿Qué separa a un VLA de un VLM?competencia

06Resumen

Mira la salidaTexto es LLM o VLM. Acción es VLA. Video futuro + acción es WAM.
2026 trajo el cuerpo enteroHelix 02 y Gemini Robotics 2 controlan humanoides completos, no solo el brazo.
Abierto y cerrado convivenπ0/π0.5 abiertos; π0.7, Helix y Gemini Robotics 2 cerrados o solo para socios.

Fuentes de esta clase

Siguiente clase