La tesis central de la Ruta 1: un único modelo VLA generaliza la percepción, el lenguaje y la acción a muchos cuerpos robóticos.
Mapa de la ruta
Seis módulos, del panorama estratégico a las matemáticas de la generación de acciones.
El Gran Escenario
De los LLM a robots que actúan
Anatomía VLA
Vision, language y action por dentro
Evolución de los modelos
RT-1 hasta π0 y Qwen-VLA
Imitación y BC
Clonar el comportamiento, superar el drift
Diffusion & Flow
Generar una acción a partir del ruido
Tokenización de acciones
Discreto, continuo y FAST
Contenido detallado
🌐 El gran panorama: de los LLM a los robots que actúan
Por qué los LLM por sí solos no pueden actuar en el mundo, qué es la IA incorporada y por qué 2026 es el momento de los foundation models para robótica.
Qué es: la cadena que transforma píxeles e instrucciones en torque motor. Los LLM dominan la etapa del lenguaje, pero no cierran el loop con el mundo físico.
Por qué aprender: entender dónde está el cuello de botella de la «acción» es lo que distingue a un chatbot de un robot.
Conceptos clave: grounding, embodiment, bucle sensoriomotor.
Qué es: el razonamiento abstracto es fácil para las máquinas; la sensoriomotricidad es difícil. La manipulación destraba el cuello de botella más antiguo de la IA.
Por qué aprender: explica por qué «agarrar un vaso» es más difícil que jugar al ajedrez.
Conceptos clave: paradoja de Moravec, contacto, brecha de destreza.
Qué es: la tesis de generalización: un modelo entrenado en muchas tareas y cuerpos supera a N políticas especializadas.
Por qué aprender: es la apuesta que impulsa a Google, PI y NVIDIA.
Conceptos clave: generalist policy, cross-embodiment, transferencia positiva.
Qué es: el coajuste fino de un VLM web-scale transfiere conocimiento semántico a la acción (generalización a objetos nunca vistos en las demostraciones).
Por qué aprender: es el nacimiento del paradigma VLA moderno.
Conceptos clave: transferencia de la web a la acción, generalización semántica, habilidades emergentes.
Qué es: Google DeepMind, Physical Intelligence, NVIDIA, Figure y Tesla: quién hace qué y por qué.
Por qué aprender: mapear a los actores orienta la carrera y la lectura de papers.
Conceptos clave: GR00T, π0, Helix, Optimus.
Qué es: la convergencia de Open X-Embodiment, GPUs y transformers/difusión hizo viables los VLAs.
Por qué aprender: entender el «porqué 2026» anticipa la próxima ola.
Conceptos clave: Open X-Embodiment, scaling, momento Pareto.
🧬 Anatomía VLA: Vision + Language + Action
Los bloques internos de un VLA: encoder de visión, backbone de lenguaje, fusión multimodal, action head, propiocepción y el loop de control.
Qué es: los patches de imagen se convierten en tokens visuales; DINOv2 aporta características espaciales, SigLIP alinea visión y texto.
Por qué aprender: la elección del encoder define lo que el robot «ve».
Conceptos clave: patch embedding, codificador dual, backbone congelado.
Qué es: un LLM preentrenado se convierte en el núcleo de razonamiento que integra instrucciones, contexto y visión.
Por qué aprender: es donde reside la generalización semántica.
Conceptos clave: PaliGemma, Prismatic, transformer decoder.
Qué es: cómo los tokens de imagen y texto entran en el mismo contexto —concatenados (early) o mediante atención cruzada.
Por qué aprender: define la eficiencia y la capacidad de grounding.
Conceptos clave: early fusion, cross-attention, token budget.
Qué es: convierte el estado latente del backbone en comandos motores —Δpose del efector y gripper.
Por qué aprender: es el punto donde compiten la difusión, los tokens y la regresión.
Conceptos clave: action expert, detokenizer, end-effector delta.
Qué es: las articulaciones, la fuerza y el historial temporal se incorporan como observación adicional, además de la cámara.
Por qué aprender: sin estado, el robot «olvida» dónde está.
Conceptos clave: propiocepción, historial de observación, token de estado.
Qué es: frecuencia de inferencia, latencia y predicción de bloques de acciones (chunks) con receding horizon.
Por qué aprender: una latencia mal resuelta acaba con la tarea real.
Conceptos clave: action chunking, horizonte de predicción, control rate.
📈 Evolución de los modelos: RT-1, RT-2, OpenVLA, π0, Qwen-VLA
El linaje de los VLAs de 2022 a 2026, con tamaños, datos, tokenización, licencias y los saltos arquitectónicos de cada generación.
Qué es: transformer con condicionamiento FiLM, acciones discretizadas en bins, entrenado con ~130k demos.
Por qué aprender: es la base que demostró que se pueden tokenizar acciones.
Conceptos clave: FiLM, discretización de acciones, tokens de EfficientNet.
Qué es: las acciones se convierten en tokens de texto en un VLM (PaLI-X/PaLM-E), con coajuste fino web+robot.
Por qué aprender: inauguró la generalización semántica emergente.
Conceptos clave: action-as-text, co-fine-tuning, cadena de pensamiento robótica.
Qué es: OpenVLA-7B (Prismatic VLM + OXE) y Octo abren el paradigma con fine-tuning eficiente mediante LoRA.
Por qué aprender: son los modelos que realmente puedes ejecutar.
Conceptos clave: Prismatic, OXE, LoRA, cuantización.
Qué es: VLA generalista con action expert mediante flow matching, acción continua a 50Hz, PaliGemma como base.
Por qué aprender: es el estado del arte en manipulación fluida.
Conceptos clave: flow matching, action expert, open-world.
Qué es: VLM grandes (Qwen2-VL y similares) como base de VLAs que unen razonamiento y acción.
Por qué aprender: muestra la tendencia hacia bases de datos cada vez mayores.
Conceptos clave: reasoning-VLA, escalado de modelos base, razonamiento incorporado.
Qué es: tabla de tamaño × datos × tokenización × licencia × rendimiento de los principales VLA.
Por qué aprender: elegir un modelo exige comparar trade-offs.
Conceptos clave: benchmark, licencia, parámetros vs. datos.
🎯 Aprendizaje por imitación y Behavior Cloning
Cómo aprenden los robots a partir de demostraciones humanas, por qué el behavior cloning falla con el tiempo y qué hacer al respecto.
Qué es: regresión supervisada estado→acción que imita al demostrador.
Por qué aprender: 90% de los VLAs entrenan mediante BC.
Conceptos clave: política supervisada, π(a|s), máxima verosimilitud.
Qué es: pequeños errores sacan al robot de la distribución de entrenamiento, y el error se acumula cuadráticamente a lo largo del horizonte.
Por qué aprender: es la falla número uno del BC ingenuo.
Conceptos clave: covariate shift, compounding error, O(T²).
Qué es: DAgger recopila correcciones en los estados visitados por la política; la teleoperación genera las demostraciones humanas.
Por qué aprender: la calidad de la recolección define el límite de la política.
Conceptos clave: DAgger, corrección on-policy, líder-seguidor.
Qué es: múltiples acciones válidas para un mismo estado; el promedio (MSE) cae en el espacio entre ellas.
Por qué aprender: justifica la difusión y las políticas expresivas.
Conceptos clave: multimodal actions, mode averaging, expressive policy.
Qué es: La diversidad de objetos, posiciones y demostraciones óptimas frente a las subóptimas importa más que el volumen bruto.
Por qué aprender: los datos malos limitan cualquier arquitectura.
Conceptos clave: coverage, diversity, demo quality.
Qué es: la tasa de éxito es el norte, pero la generalización a objetos/posiciones/instrucciones nuevas es la prueba real.
Por qué aprender: una métrica equivocada engaña.
Conceptos clave: tasa de éxito, evaluación OOD, ejes de generalización.
🌫️ Diffusion Policy y Flow Matching
Las matemáticas que generan acciones multimodales a partir del ruido: DDPM condicionado, score matching, flow matching y el costo de inferencia.
Qué es: La difusión captura distribuciones multimodales mediante el denoising de trayectorias completas.
Por qué aprender: resuelve el mode averaging del MSE.
Conceptos clave: denoising, multimodal, generación de trayectorias.
Qué es: DDPM condicionado a la observación, con fragmentación de acciones y horizonte recedente.
Por qué aprender: se convirtió en el baseline de manipulación fina.
Conceptos clave: DDPM, horizonte recedente, política U-Net/transformer.
Qué es: aprender el gradiente de la densidad (score) para revertir el ruido; conditioning mediante FiLM/cross-attention.
Por qué aprender: es el engranaje matemático de la difusión.
Conceptos clave: score function, reverse process, conditioning.
Qué es: aprender un campo vectorial que transporta ruido→acción por una ODE; entrenamiento más simple y estable.
Por qué aprender: es lo que hace que π0 fluya a 50Hz.
Conceptos clave: flow matching, ODE, conditional vector field.
Qué es: el número de pasos de denoising se convierte en latencia; los consistency models y la destilación lo reducen a unos pocos pasos.
Por qué aprender: el tiempo real exige pocos NFEs.
Conceptos clave: NFE, modelo de consistencia, destilación.
Qué es: equilibrio entre la expresividad de la difusión y la simplicidad/latencia de los tokens autorregresivos.
Por qué aprender: define la elección del action head.
Conceptos clave: expresividad × latencia, AR vs diffusion.
🔢 Tokenización de acciones: discreta vs continua vs FAST
Cómo representar las acciones para el modelo: regresión continua, binning discreto y el esquema FAST basado en DCT que comprime en el dominio de la frecuencia.
Qué es: la cabeza emite floats directamente; es simple, pero ofrece poca multimodalidad si se usa con MSE.
Por qué aprender: es la referencia contra la que se mide el resto.
Conceptos clave: regresión, L1/L2, unimodalidad.
Qué es: cada dimensión se divide en bins y se trata como una clase; gana multimodalidad, pierde resolución y correlación entre dimensiones.
Por qué aprender: fue el esquema dominante durante años.
Conceptos clave: uniform binning, cuantización, cross-entropy.
Qué es: a 50Hz, los tokens por timestep son casi idénticos y redundantes, lo que crea secuencias larguísimas.
Por qué aprender: es el problema que FAST resuelve.
Conceptos clave: redundancia temporal, secuencia larga, control dinámico.
Qué es: aplica DCT a la trayectoria, cuantiza coeficientes y comprime con BPE: tokens cortos en el dominio de la frecuencia (PI, 2025).
Por qué aprender: desbloquea un entrenamiento autoregresivo rápido y fiel.
Conceptos clave: DCT, BPE, compresión en el dominio de la frecuencia.
Qué es: menos tokens permiten entrenar más rápido, pero pueden perder fidelidad; FAST mueve la frontera de Pareto.
Por qué aprender: es la decisión de ingeniería central.
Conceptos clave: Pareto, sequence length, training speed.
Qué es: una tarea lenta tolera el binning; una tarea dinámica requiere FAST o difusión. La elección determina toda la cabeza de acción.
Por qué aprender: cierra la Ruta 1 conectando representación y arquitectura.
Conceptos clave: dinámica de la tarea, diseño de la cabeza, decisión de representación.
Listo para la Ruta 2
Con una base teórica sólida, es hora de ponerse manos a la obra: PyTorch, LeRobot, simuladores, ROS2, hardware y datasets.