Diagrama ilustrativo: imágenes (visión) + instrucciones en lenguaje entran en un único modelo end-to-end, que emite tokens de acción para que el robot los ejecute.
🧩 Qué es un modelo VLA
VLA significa Visión-Lenguaje-Acción: un único modelo que recibe imágenes de la cámara junto con una instrucción en lenguaje natural y genera directamente las acciones motoras del robot — las llamadas tokens de acción. En lugar de tres sistemas separados (percepción, planificación y control) conectados a mano, el VLA une los tres en un modelo end-to-end.
🧠 El modelo fundacional de la robótica
Así como un LLM es un modelo fundacional para texto, el VLA busca ser el modelo fundacional para la robótica: entrenado a gran escala, generaliza a tareas que nunca ha visto (zero-shot) y transfiere conocimiento entre tareas distintas.
- •De extremo a extremo: una sola red va de la imagen + texto hasta el comando motor, sin etapas manuales entre ellas.
- •Tokens de acción: la acción motora se trata como una secuencia de tokens, igual que un modelo de lenguaje predice palabras.
- •Generalización zero-shot: capacidad de ejecutar instrucciones para objetos y escenas fuera del conjunto de entrenamiento.
📊 El salto conceptual
- 3 sistemas → 1 modelo: la percepción, el razonamiento y el control dejan de ser módulos separados.
- Imágenes + texto → tokens de acción: la misma arquitectura que genera palabras pasa a generar movimientos.
- Transferencia entre tareas: aprender a "agarrar" ayuda a aprender a "apilar", reutilizando la representación.
💡 Consejo práctico
Piensa en el VLA como «el ChatGPT del robot»: describes la tarea en español, este ve la escena a través de la cámara y actúa. Lo que cambia en tu trabajo es que la interfaz pasa a ser el lenguaje + ejemplos, no el código de trayectoria.
Conceptos clave
🤖 Modelos de referencia
El campo VLA tuvo un auge entre 2023 y 2025. Conocer los modelos de referencia ayuda a entender su madurez y licencia; hay mucha variación entre open-source y es cerrado, y eso define lo que puedes usar en la práctica.
Google RT-2 / RT-X (2023)
De la web al robot
Los primeros VLA de gran escala de Google transfieren el conocimiento aprendido en la web al control del robot y muestran que los datos de visión y lenguaje de internet mejoran la acción motora.
OpenVLA (2024)
~7B parámetros, de código abierto
Modelo abierto de cerca de 7 mil millones de parámetros. Al ser open source, se convirtió en una base para que la comunidad haga fine-tuning local, democratizando el acceso a las VLAs.
π0 — Physical Intelligence (2024)
Flow-matching
El modelo π0 (pi-zero) usa flow-matching para generar acciones continuas y fluidas, en lugar de tokens discretos, lo que mejora la destreza en tareas manuales.
Figure Helix (2025)
Humanoide en tiempo real
VLA de Figure funcionando en un humanoide con control en tiempo real, lo que demuestra que el enfoque ya está pasando del laboratorio al hardware comercial.
Google Gemini Robotics (2025)
Razonamiento + acción
Une el razonamiento de un modelo fundacional multimodal con la acción robótica, acercando el «pensar» y el «hacer» en un mismo sistema.
📊 Madurez y licencia
- Abierto: OpenVLA (~7B) permite el fine-tuning local y la auditoría del modelo.
- Cerrado / comercial: RT-2/RT-X, Figure Helix y Gemini Robotics quedan rezagados frente a las plataformas de los fabricantes.
- Enfoque técnico: de tokens discretos (RT-2) a flow-matching continuo (π0) — afecta la destreza y la fluidez.
Conceptos clave
🗣️ Cómo opera el trabajador
Con VLA, operar un robot deja de ser programar trayectorias. El trabajador da una instrucción en lenguaje natural y, cuando el robot se equivoca, corrige mediante demostración — el «mostrar una vez». La nueva habilidad es escribir un buen prompt de tarea y seleccionar ejemplos, no escribir código clásico.
⌨️ Ejemplo ilustrativo: prompt → acción
Recreación ilustrativa del flujo, no la salida literal de un modelo real.
✓ Qué HACE ahora el operador
- ✓Escribe el prompt de tarea en lenguaje natural
- ✓Demuestra la tarea mediante teleoperación («muéstrala una vez»)
- ✓Hace correcciones en tiempo real cuando el robot se desvía
- ✓Curar qué ejemplos se convierten en referentes de comportamiento
✗ Qué DEJA de hacer el operador
- ✗Programar la trayectoria punto por punto a mano
- ✗Reescribir la lógica de bajo nivel para cada pieza nueva
- ✗Depender solo de un ingeniero para cambiar el comportamiento
- ✗Tratar al robot como una máquina de ingresos fijos
💡 Consejo práctico
La fundamentación del lenguaje es clave: el robot necesita vincular la palabra «roja» con el píxel correcto. Cuando se equivoca, no reescribas código; repite la demostración o ajusta el prompt. Tú enseñas, no programas.
Conceptos clave
🎓 Capacitar y ajustar
Un VLA nace de conjuntos de datos gigantes — cómo el Open X-Embodiment — y luego es perfeccionado por fine-tuning con demostraciones locales de su operación. La persona queda en el centro del bucle (human-in-the-loop): recopila, valida y corrige. El cuello de botella no es el modelo, es el dato de calidad.
📚 Del dataset gigante al fine-tuning local
El modelo base aprende patrones amplios en conjuntos de datos como Open X-Embodiment; el ajuste fino con demostraciones de tu línea lo especializa en las piezas y estaciones reales. Aprendizaje por imitación significa que el robot copia lo que demostró una persona.
- •Aprendizaje por imitación: el modelo aprende imitando demostraciones humanas.
- •Data curation: elegir y depurar qué ejemplos se incluyen en el entrenamiento.
- •Cobertura de edge cases: garantizar ejemplos de las situaciones poco frecuentes que hacen fallar al robot.
📊 El cuello de botella son los datos
- Open X-Embodiment: conjunto de datos colaborativo que reúne demostraciones de muchos robots diferentes.
- Ajuste fino local: pocas demostraciones buenas valen más que muchas demostraciones ruidosas.
- Human-in-the-loop: la persona recopila y valida: es quien garantiza la calidad de los datos.
🧑🏫 Conexión con el puesto «AI Training Associate»
Surge un puesto dedicado: el AI Training Associate, responsable de recopilar demostraciones, depurar datos y validar el comportamiento del robot. Es el trabajo de quien alimenta y ajusta el VLA en el día a día, justo donde está el cuello de botella de los datos de calidad.
Conceptos clave
⚠️ Límites y riesgos
VLA es potente, pero falible. Fuera de la distribución de entrenamiento (out-of-distribution) el modelo se equivoca y, peor aún, puede equivocarse con confianza: la llamada alucinación motora, en la que ejecuta una acción incorrecta sin dudar. Por eso, las capas de seguridad y supervisión humana siguen obligatorias.
🚫 ALERTA: el VLA no prescinde de las capas de seguridad
Un VLA seguro de sí mismo no es un VLA correcto. Cuando la escena se sale de lo que vio durante el entrenamiento, puede generar una acción peligrosa con mucha confianza —y no avisa que está equivocado. Las salvaguardas físicas y la norma siguen vigentes:
- •Límites de fuerza y la parada de emergencia (e-stop) por hardware, independientes del modelo.
- •Supervisión humana activa: nadie entrega la operación al modelo al 100%.
- •ISO 10218 y el humano en el ciclo siguen siendo obligatorios, haya VLA o no.
✓ Deploy responsable de VLA
- ✓Límites de fuerza y parada de emergencia en una capa independiente del modelo
- ✓Supervisión humana con autoridad para detener
- ✓Se mantiene el cumplimiento de ISO 10218
- ✓Monitorear casos fuera de distribución y detenerse cuando haya incertidumbre
✗ Errores que terminan en accidente
- ✗Confiar en la confianza del modelo como prueba de acierto
- ✗Operar fuera de la distribución sin medidas de protección
- ✗Eliminar la supervisión humana «porque el VLA es bueno»
- ✗Tratar la norma de seguridad como opcional
💡 Consejo práctico
La pregunta correcta antes de confiar en una acción del VLA: "¿esta escena se parece a lo que entrenó?". Si no, está fuera de distribución (out-of-distribution): pide confirmación humana. La capa de seguridad física existe precisamente para el momento en que el modelo se equivoque con confianza.
Conceptos clave
🔮 Qué cambia en el trabajo
El cambio de fondo: la habilidad pasa de codificar movimiento para enseñar y supervisar el comportamiento. Surge un nuevo rol — el "robot instructor" o operador de IA física (Physical AI) — y es él quien define el currículo de recalificación de esta ruta.
✗ La habilidad que pierde valor
- ✗Codificar trayectorias y lógica de movimiento punto a punto
- ✗Reprogramar la máquina cada vez que cambie la pieza
- ✗Pensar en el robot como ejecutor de una tarifa fija
✓ La habilidad que gana valor
- ✓Enseñar comportamientos mediante el lenguaje y la demostración
- ✓Supervisar, validar y corregir lo que hace el VLA
- ✓Curar datos y cubrir edge cases — papel de Physical AI
🧑🔧 El nuevo rol: robot instructor / Physical AI
Operar IA física es una profesión emergente: menos «programador de robots» y más «maestro y supervisor de robots». El currículo de recapacitación se organiza en torno a estas competencias.
- •Robot instructor: enseña tareas mediante prompts y demostraciones.
- •Operador de IA física: supervisa el VLA en producción de forma segura.
- •Currículo de reconversión: prompting, demostración, curación de datos y supervisión.
💡 Consejo práctico
Quien hoy «programa el robot» tiene el camino más corto para convertirse en robot instructor: ya entiende la tarea y la planta. Lo que le falta aprender es prompting de tareas, demostración y curación de datos, exactamente lo que ofrece esta ruta.
Conceptos clave
🏁 Resumen del módulo
Próximo módulo: 2.8
Continuamos la Ruta de Acción con el siguiente paso práctico después de dominar los modelos VLA.