Contenido detallado
Cada nivel resuelve el cuello de botella del anterior: conocimiento web, apertura, acción continua y bases de datos cada vez mayores.
🟢 RT-1 (2022): transformer + FiLM
RT-1 (Robotics Transformer 1) demostró la fórmula básica: las imágenes pasan por un EfficientNet condicionado por FiLM (modulación por feature de la instrucción), TokenLearner comprime tokens y un transformer predice acciones discretizadas en 256 bins por dimensión. Entrenado con ~130k demostraciones de más de 700 tareas y 13 robots durante 17 meses, alcanzó ~97% de éxito en tareas conocidas y una generalización modesta. Fue la prueba de concepto de que tokenizar acciones funciona a escala.
📊 RT-1 en cifras
- ~130k demostraciones de teleoperación.
- 700+ instrucciones distintas, 13 robots.
- 256 bins por dimensión de acción · 35M parámetros.
FiLM
Visión modular por instrucción.
TokenLearner
Compresión de tokens visuales.
Action binning
256 bins por dimensión.
Prueba de concepto
Tokenizar acciones a escala.
🔵 RT-2 (2023): VLM co-fine-tuned
RT-2 partió de VLM web-scale (PaLI-X hasta 55B, PaLM-E) y los ajustó con datos de robots, tratando acciones como cadenas de texto en el mismo vocabulario. El coajuste fino (mezclar datos web y de robots) preserva el conocimiento de Internet y genera generalización semántica emergente: elegir «el objeto que no pertenece» o «la bandera del país X». RT-2 también demostró chain-of-thought robótico, razonando en texto antes de actuar.
✓ Avances de RT-2
- ✓Generalización semántica a objetos/instrucciones inéditos.
- ✓Razonamiento de varios pasos mediante chain-of-thought.
- ✓Reaprovecha la escala del preentrenamiento web.
✗ Limitaciones
- ✗Cerrado: no se publicaron los pesos ni el código.
- ✗Inferencia costosa (hasta 55B), difícil en tiempo real.
- ✗La acción discreta limita el control preciso y dinámico.
Action-as-text
Acciones como strings tokenizadas.
Co-fine-tuning
Web + robot en el mismo entrenamiento.
CoT robótico
Razonar antes de actuar.
Emergencia semántica
Habilidades no demostradas.
🟡 Octo & OpenVLA (2024): open-source
2024 democratizó el paradigma. Octo (Berkeley) es un transformer pequeño (27M-93M) con una cabeza de difusión, entrenado en Open X-Embodiment y fácil de ajustar. OpenVLA-7B (Stanford/Berkeley) usa un Prismatic VLM (Llama 2-7B + SigLIP/DINOv2) entrenado con ~970k trayectorias de OXE, superando a RT-2-X con 7× menos parámetros. La clave: ambos permiten fine-tuning eficiente mediante LoRA y cuantización, ejecutándose en una GPU.
# Fine-tunar OpenVLA com LoRA (esquema)
from transformers import AutoModelForVision2Seq
model = AutoModelForVision2Seq.from_pretrained(
"openvla/openvla-7b", load_in_4bit=True) # quantização
model = get_peft_model(model, LoraConfig(r=32)) # adapta poucos params
# treina em demos do seu robô → política especializada⚡ Consejo práctico
Para la mayoría de los proyectos reales, empieza con OpenVLA + LoRA sobre sus propias demos. Es el camino más corto de «tengo un brazo» a «tengo una policy», sin entrenar 7B desde cero.
Prismatic VLM
Base de OpenVLA.
OXE
Open X-Embodiment de entrenamiento.
LoRA
Fine-tuning de pocos parámetros.
Octo
Transformer ligero con difusión.
🌊 π0 / π0.5 (Physical Intelligence)
π0 rompió con la tokenización discreta. Sobre una base PaliGemma, acopla un action expert entrenado por flow matching que genera acciones continuas en chunks de hasta 50Hz, ideal para tareas de destreza como doblar ropa. π0.5 avanza en la generalización open-world, entrenando con datos heterogéneos (incluida la web) para tareas largas en casas nunca vistas. Es el estado del arte abierto en manipulación generalista de 2025.
Base VLM + action expert
PaliGemma razona; un experto dedicado genera la acción continua.
Flow matching a 50Hz
Generación fluida de chunks de acción para tareas de destreza.
π0.5: open-world
Generaliza a hogares y tareas largas inéditas.
Flow matching
Acción continua mediante ODE.
Action expert
Módulo dedicado de generación.
Open-world
Generalización a escenas inéditas.
Dexterity
Tareas delicadas como doblar ropa.
🧠 Qwen-VLA y la familia 2025
2025 trajo VLAs construidos sobre VLM cada vez más grandes y capaces — familias basadas en Qwen2-VL y similares. La apuesta: cuanto mejor sea el razonamiento multimodal del modelo base, más acertará el VLA en tareas que requieren comprender la escena, el conteo y las relaciones espaciales. Surge la noción de razonamiento sobre el mundo físico — el modelo expresa un plan y lo aterriza en acción. Modelos como Gemini Robotics-ER y variantes de Qwen-VLA ejemplifican esta convergencia entre razonamiento sólido y control.
📊 Tendencias de 2025-2026
- Bases más grandes — VLMs de razonamiento (Qwen2-VL, Gemini) como núcleo.
- Razonamiento embodied — planificar en lenguaje antes de actuar.
- Sistema dual — separar el razonamiento lento del control rápido (ver Ruta 3).
💡 Por qué escalar la base
La intuición es que el cuello de botella de las tareas complejas ya no es la cabeza de acción, sino el comprensión de la escena y del objetivo. Las bases más grandes contienen mejores priors, siempre que haya suficientes datos de acción para fundamentarlos.
Reasoning-VLA
Razonamiento + acción en el mismo modelo.
Escalado de la base
VLM más grandes como núcleo.
Razonamiento embodied
Plan verbal fundamentado en la acción.
Gemini Robotics
VLA de frontera de Google.
📊 Cronología comparativa
Resumiendo el linaje en cinco dimensiones — tamaño, datos, tokenización, licencia y enfoque. La tendencia es clara: bases más grandes, acciones cada vez más continuas/expresivas y una división entre la frontera cerrada (RT-2, Gemini) y el open práctico (Octo, OpenVLA, π0).
Modelo Ano Params Ação Licença
RT-1 2022 35M bins (256) fechado
RT-2 2023 até 55B tokens/texto fechado
Octo 2024 27-93M difusão open
OpenVLA 2024 7B tokens (bins) open (Apache)
π0/π0.5 2024 ~3B flow matching open
Qwen-VLA 2025 XL contínua/flow varia⚡ Consejo práctico
Al elegir, considera licencia + costo de inferencia + tipo de acción. ¿Tarea lenta y demos limitadas? OpenVLA. ¿Manipulación diestra y fluida? π0 con flow matching.
Benchmark
Comparar en LIBERO/SimplerEnv.
Licencia
Open vs. cerrado define el uso.
Parámetros vs. datos
Escala de la base y del corpus.
Tipo de acción
Bins, difusión o flow.
✅ Resumen del módulo
Próximo módulo
1.4 — Aprendizaje por imitación: cómo aprenden estos modelos a partir de demostraciones y por qué falla BC.