🗺️ Panorama de los modelos: RT-2, OpenVLA, π0, Qwen-VLA
El ecosistema de modelos VLA, mapeado de punta a punta: desde los pioneros cerrados de Google hasta los modelos compactos open-source que se ejecutan en CPU. Entiende qué resuelve cada modelo y cuándo elegir cada uno.
Diagrama ilustrativo — posicionamiento relativo según la apertura y el tamaño de los principales modelos VLA.
🔬 RT-2 y RT-X: los pioneros de Google DeepMind
RT-2 redefinió lo que puede hacer un modelo de lenguaje: en lugar de solo describir el mundo, edad en él. Al coentrenar datos robóticos con datos web a escala masiva, Google DeepMind demostró que el conocimiento de internet se transfiere al control motor — un resultado que sorprendió a buena parte de la comunidad en 2023.
🔑 Qué son RT-2 y RT-X
- RT-2Robotics Transformer 2. Primer VLA en coentrenar datos robóticos con datos web a gran escala, demostrando que el conocimiento de internet se transfiere al control motor. Representa las acciones como tokens de texto y reutiliza el vocabulario del LLM.
- RT-XExtensión de Open X-Embodiment. Amplía RT-2 entrenando con el dataset Open X-Embodiment, que contiene trayectorias de 22 embodiments diferentes, para crear un modelo generalista entre embodiments.
✓ Puntos fuertes de RT-2
- ✓ Transferencia de conocimiento a escala web: reconoce objetos nunca vistos en demos
- ✓ Generalización emergente: ejecuta tareas sin entrenamiento específico
- ✓ Co-fine-tuning: datos web + robóticos en el mismo ciclo de entrenamiento
✗ Limitaciones de RT-2
- ✗ Modelo cerrado: pesos y código no disponibles para el público
- ✗ 55B parámetros: infraestructura de inferencia prohibitiva
- ✗ Latencia alta: frecuencia de control insuficiente para tareas de alta destreza
💡 Por qué estudiar RT-2 aunque sea cerrado
RT-2 definió el paradigma que prácticamente todos los VLA siguen hoy. Entender sus decisiones de diseño y limitaciones permite contextualizar por qué la comunidad buscó alternativas abiertas y eficientes como OpenVLA, Octo y SmolVLA. Es un punto de referencia histórico ineludible.
🔓 OpenVLA: el estándar open-source de Stanford
Si RT-2 mostró lo que era posible, OpenVLA mostró que era accesible. Un modelo de 7B parámetros totalmente abierto, entrenado con 970 mil trayectorias de Open X-Embodiment, con un rendimiento competitivo frente a RT-2-X usando una fracción de los recursos, y con pesos, código y receta de fine-tuning disponibles para cualquiera.
🏗️ Arquitectura en tres capas
SigLIP + DINOv2 combinados: características semánticas + geométricas para manipulación fina.
Backbone de 7B parámetros: razonamiento y comprensión de instrucciones en lenguaje natural.
Acciones mapeadas en 256 bins por dimensión, emitidas como tokens del vocabulario del LLM.
💡 Ajuste fino en una GPU de consumo
El fine-tuning eficiente mediante LoRA funciona en una única GPU de consumo (p. ej., RTX 4090). La cuantización INT4 permite inferencia a ~6 Hz en hardware modesto. OpenVLA es el punto de partida para cualquier proyecto real con presupuesto limitado.
📊 Resultado clave del paper original
El co-fine-tuning (visión + lenguaje + acción juntos) mejora el rendimiento hasta +16,5% en comparación con el fine-tuning solo del action head, lo que justifica el costo computacional adicional. El dual encoder supera a los encoders simples en tareas de manipulación fina en múltiples benchmarks.
🌊 π0 (pi0): flow matching de Physical Intelligence
π0 es la respuesta a la pregunta: ¿y si el action head no fuera discreto, sino continuo y generado mediante un proceso de denoising? Al usar flow matching en lugar de tokenización de acciones, Physical Intelligence alcanzó Control a 50 Hz con trayectorias suaves, necesarias para tareas de alta destreza como doblar ropa.
Cronología de la innovación de π0
VLM
PaliGemma como backbone
π0 usa PaliGemma (el VLM de Google) como base para la percepción y el razonamiento, y aprovecha el preentrenamiento con datos web de altísima calidad.
Experto
Action experts acoplados
Subredes dedicadas a la generación de acciones reciben tokens del backbone VLM y producen trayectorias continuas mediante flow matching — sin discretización.
Match
Generación a 50 Hz
El campo vectorial aprende a transportar ruido gaussiano hacia acciones mediante una ODE. Resultado: control a 50 Hz con una suavidad incompatible con la tokenización discreta.
🔑 Conceptos clave de π0
Aprende un campo vectorial que transporta ruido gaussiano a la distribución de acciones mediante una ODE. Es más estable que diffusion y más rápido en la inferencia.
Permite realizar tareas de alta destreza (doblar ropa, armar cajas) con feedback casi continuo, algo imposible con la tokenización discreta.
Diseñado para varios robots: un único checkpoint funciona en diferentes morphologies sin volver a entrenar todo desde cero.
Destaca en tareas de manipulación fina en las que fallan los VLA discretos: movimientos fluidos y multimodales en un espacio de acción continuo.
Diagrama ilustrativo — action head discreto en escalones frente a continuo con flow matching.
🐙 Octo: el transformer generalista de Berkeley
Mientras RT-2 y π0 buscan la máxima capacidad, Octo plantea la pregunta opuesta: ¿cuál es el modelo más pequeño capaz de generalizar? Con 27M a 93M parámetros —cientos de veces menos que RT-2— demostró que la arquitectura modular y los datos de calidad valen más que la escala bruta.
🧩 Arquitectura modular
Se pueden agregar nuevos sensores y action heads sin volver a entrenar el core. Un transformer con bloques de atención sobre tokens de observación y tarea: conectable y extensible.
🎯 Diffusion action head
Genera acciones multimodales fluidas mediante un proceso iterativo de denoising. Admite condicionamiento por lenguaje o por imagen objetivo: más flexible que la discretización por intervalos.
📦 800k trayectorias de Open X-E
Entrenado con 800 mil trayectorias de Open X-Embodiment, que abarcan múltiples robots y entornos y permiten hacer zero-shot transfer a nuevos embodiments.
💻 Deploy en hardware modesto
93M parámetros funcionan en GPU accesibles. Ideal para investigación rápida y prototipado cuando OpenVLA es demasiado grande para el presupuesto de cómputo.
💡 Cuándo usar Octo
Usa Octo cuando necesites un baseline rápido de entrenar y probar o cuando el presupuesto de GPU sea limitado. Demuestra que no todo VLA necesita miles de millones de parámetros — Arquitectura adecuada + datos adecuados > escala bruta.
📱 Qwen-VLA, SmolVLA y la era de los modelos compactos
La tercera generación de VLAs no busca superar benchmarks en servidores de centros de datos: busca funcionar en hardware integrado y de bajo costo. SmolVLA se ejecuta en CPU; Qwen-VLA equilibra capacidad y latencia con 1–3B parámetros. La pregunta ya no es «¿qué tan bueno?», sino "¿qué tan bueno es con el hardware que tengo?"
✓ Qué resuelven los compactos
- ✓ Inferencia en el dispositivo sin GPU en la nube
- ✓ Ajuste fino en una sola GPU de consumo
- ✓ Prototipado con plataformas económicas (SO-100, Jetson)
- ✓ La destilación de conocimiento preserva las capacidades esenciales
✗ Lo que los compactos no ofrecen
- ✗ Generalización zero-shot competitiva con modelos grandes
- ✗ Alta destreza en tareas complejas de manipulación fina
- ✗ Robustez ante escenarios muy alejados de la distribución de entrenamiento
🔑 Técnicas que hacen posibles los modelos compactos
- KDDestilación de conocimiento: transfiere la capacidad de modelos grandes a modelos pequeños, preservando el razonamiento sin costo en parámetros.
- INT4Cuantización agresiva: los pesos de 4 bits reducen la huella de memoria en ~8x con una pérdida mínima de rendimiento en tareas estructuradas.
- AsyncInferencia async (SmolVLA): la percepción y la generación de acciones se ejecutan en hilos separados: mayor throughput sin aumentar la cantidad de parámetros.
⚖️ Comparativa: tamaño, licencia, encarnaciones, rendimiento
No existe un mejor modelo VLA absoluto: existe el mejor modelo para cada restricción. Una elección equivocada cuesta semanas de trabajo y miles de dólares en cómputo. Entender las ventajas y desventajas antes de empezar marca la diferencia entre un proyecto que avanza y uno que se estanca.
📊 Cómo se evalúan los modelos
- LIBEROBenchmark de aprendizaje continuo en manipulación; mide la retención de tareas anteriores al aprender otras nuevas. Es el estándar para comparar el fine-tuning eficiente.
- SimplerEnvEntorno simplificado con métricas estandarizadas de success rate; permite una comparación justa entre modelos en escenarios de laboratorio controlados.
- Cobertura de encarnacionesDetermina si el modelo se transfiere a tu robot específico sin un fine-tuning extenso; es crucial para proyectos reales con hardware propietario.
✓ Criterios para elegir correctamente
- ✓ Definir primero la restricción de cómputo
- ✓ Verificar la cobertura de embodiments
- ✓ Evaluar si la licencia permite el uso comercial
- ✓ Verificar la frecuencia de control frente al requisito de la tarea
✗ Errores comunes al elegir
- ✗ Elegir el modelo más grande disponible sin revisar el presupuesto
- ✗ Ignorar la latencia de inferencia frente a la frecuencia necesaria
- ✗ Usar un modelo cerrado en un proyecto que exige reproducibilidad
- ✗ Ignorar la compatibilidad del embodiment
✅ Resumen del módulo
Siguiente módulo
1.4 — Datasets: Open X-Embodiment y DROID