Mapa de la ruta
🐍 Python + PyTorch
La stack donde todo VLA nace, se entrena y se ejecuta.
🤗 LeRobot
Grabar, entrenar y hacer deploy en un único repo open.
🌐 Simuladores
Miles de mundos por noche, sin romper nada.
🔗 ROS2
El nexo entre policy y torque, en tiempo real.
🦿 Hardware
Brazos, pinzas, sensores y Jetson en el edge.
📦 Datasets
1M+ trayectorias: el combustible del modelo generalista.
Contenido detallado
🐍 Python + PyTorch: stack dominante para VLA
Qué es: ejecución eager, autograd y ecosistema HF.
Por qué importa: iteración rápida en arquitecturas que cambian cada semana.
Conceptos: define-by-run, CUDA/MPS, portabilidad.
Qué es: bf16/fp16 y presupuesto de memoria de 7B.
Por qué importa: define qué GPU entrena el modelo.
Conceptos: autocast, Adam states, activaciones.
Qué es: cargar VLM y entrenar adaptadores QLoRA.
Por qué importa: fine-tune de 7B en 24 GB.
Conceptos: PEFT, NF4, target_modules.
Qué es: Dataset/DataLoader y normalización de acciones.
Por qué importa: una normalización incorrecta rompe la action head.
Conceptos: estadísticas con ckpt, augmentation, workers.
Qué es: sharding del estado entre GPUs.
Por qué importa: permite entrenar un VLA grande.
Conceptos: all-gather, reduce-scatter, recompute.
Qué es: torch.compile y action chunking.
Por qué importa: la latencia cierra el bucle de control.
Conceptos: inference_mode, CUDA graphs, export.
🤗 LeRobot: Framework End-to-End
Qué es: datasets, políticas, sim y hardware en un repo.
Por qué importa: democratiza la robótica, como transformers hizo con NLP.
Conceptos: record, train, eval; Hub.
Qué es: estado en parquet, imágenes en mp4.
Por qué importa: formato único reproducible.
Conceptos: features, episode_index, delta_timestamps.
Qué es: clases de policy con la misma interfaz.
Por qué importa: cambiar de método con una flag.
Conceptos: chunking, flow matching, checkpoints.
Qué es: brazos económicos y teleoperación leader-follower.
Por qué importa: recopilar demos por ~$100.
Conceptos: calibración, grabación, consistencia.
Qué es: tres comandos + loop de inferencia.
Por qué importa: ciclo completo en un brazo de mesa.
Conceptos: eval rollout, tasa de éxito, lazo cerrado.
Qué es: datasets y checkpoints versionados en el Hub.
Por qué importa: reproduce artículos y aporta demos.
Conceptos: push_to_hub, dataset card, visualizar.
🌐 Simuladores: MuJoCo, Isaac, Habitat
Qué es: datos baratos, seguros y paralelos.
Por qué importa: El RL necesita muchas interacciones.
Conceptos: reinicio infinito, ground-truth, aleatorización.
Qué es: contacto preciso, física diferenciable en JAX.
Por qué importa: manipulación de contacto fino.
Conceptos: MJCF, vmap, menagerie.
Qué es: Simulación con GPU con RTX y RL masivo.
Por qué importa: miles de entornos sin cuello de botella de CPU.
Conceptos: PhysX 5, OpenUSD, fotorrealismo.
Qué es: navegación y embodied QA en escenas reales.
Por qué importa: percepción espacial y exploración.
Conceptos: HM3D, EQA, SAPIEN/Genesis.
Qué es: la física, los sensores y la apariencia divergen.
Por qué importa: 95% en sim puede ser 30% en el mundo real.
Conceptos: brecha entre la simulación y la realidad, objetos deformables, evaluación honesta.
Qué es: conjuntos estandarizados de evaluación.
Por qué importa: comparar policies entre papers.
Conceptos: tasa de éxito, RoboSuite, generalización.
🔗 ROS2: middleware para robótica real
Qué es: middleware descentralizado sobre DDS.
Por qué importa: tiempo real y seguridad.
Conceptos: nodos, tópicos, servicios, acciones.
Qué es: percepción, planificación y control como nodos.
Por qué importa: cambiar la policy sin modificar el driver.
Conceptos: rqt_graph, topic hz, modularidad.
Qué es: nodo rclpy que se suscribe a cámara+estado.
Por qué importa: obs del mismo instante; QoS correcta.
Conceptos: message_filters, BEST_EFFORT, callback group.
Qué es: árbol de frames temporizado.
Por qué importa: convertir un frame de la cámara a base.
Conceptos: mano-ojo, REP-103, timestamp.
Qué es: planificación, colisión, IK/FK, límites.
Por qué importa: approach seguro y ejecución de trayectoria.
Conceptos: ros2_control, e-stop, time parameterization.
Qué es: presupuesto de frame→torque y jitter.
Por qué importa: el jitter desestabiliza el control.
Conceptos: PREEMPT_RT, watchdog, chunking.
🦿 Hardware: Brazos, Sensores, Edge
Qué es: DOF, carga útil y repetibilidad.
Por qué importa: elegir el brazo según la tarea/el presupuesto.
Conceptos: control de fuerza, cobot, ~$100.
Qué es: paralela, succión, varios dedos, GelSight.
Por qué importa: el end-effector define qué se agarra.
Conceptos: destreza, in-hand, feedback de contacto.
Qué es: RealSense/ZED, cámara en la muñeca, encoders.
Por qué importa: la visión es la entrada dominante.
Conceptos: anti-oclusión, observation.state, F/T.
Qué es: cómputo a bordo, throughput vs. consumo.
Por qué importa: elimina la latencia de red.
Conceptos: TensorRT, INT8, envolvente térmica.
Qué es: leader-follower, VR, guantes.
Por qué importa: los buenos datos empiezan con una buena teleop.
Conceptos: espacio de acción, retarget, ergonomía.
Qué es: de $100 a la célula de investigación.
Por qué importa: el costo se desplomó; el método importa más.
Conceptos: kit accesible, cloud + edge.
📦 Datasets: Open X-Embodiment, DROID
Qué es: 1M+ trayectorias, 22 encarnaciones.
Por qué importa: el «ImageNet de la robótica».
Conceptos: 60+ datasets, generalistas, corpus unificado.
Qué es: coentrenamiento en varios cuerpos.
Por qué importa: transferencia positiva entre robots.
Conceptos: pesos de mezcla, co-fine-tune.
Qué es: 76k demos, 564 escenas, Franka.
Por qué importa: diversidad frente al overfit.
Conceptos: estandarizado, 86 tareas, entornos reales.
Qué es: benchmark de transferencia, 4 suites.
Por qué importa: medir el aprendizaje sin olvidar.
Conceptos: Spatial/Object/Goal/Long, composición.
Qué es: formato común + espacios de acción heterogéneos.
Por qué importa: sin normalizar, no hay transferencia.
Conceptos: TFDS, Δpose EEF, frecuencia.
Qué es: filtrar la calidad y equilibrar la cobertura.
Por qué importa: la calidad supera al volumen bruto.
Conceptos: sesgo de embodiment, licencia, contribuir.