Fundamentos
De los LLM a los robots que actúan: entiende la revolución VLA desde los conceptos esenciales hasta las normas de seguridad que rigen la colaboración entre humanos y robots.
Mapa de la ruta
🌍 El gran panorama
De los LLM a los robots autónomos: la evolución completa
🔬 Anatomía de un VLA
Visión + lenguaje + acción: desglosando la arquitectura
🗺️ Panorama de los modelos
RT-2, OpenVLA, pi0, Qwen-VLA y 8 modelos más
📦 Datasets
Más de 1 M de trayectorias: Open X-Embodiment y DROID
🤖 Hardware
Cobots, humanoides y plataformas accesibles
🛡️ Seguridad y normas
ISO 10218:2025 y safety-by-design para VLAs
Contenido detallado
De los LLM a los robots que actúan: el panorama general
La evolución de la IA: de modelos de texto a agentes que manipulan el mundo físico.
1 Del lenguaje a la acción: LLM → VLM → VLA
Qué es
La progresión de modelos que procesan solo texto (LLMs) a modelos que también ven (VLMs) y, finalmente, a modelos que generan acciones motoras en el mundo real (VLAs). Cada salto agrega una modalidad: primero la visión como entrada, después el control motor como salida.
Por qué aprender
Entender esta progresión es el fundamento de todo lo que viene después en el curso. Sin tener claro qué cambió entre GPT-4V y RT-2, es imposible evaluar arquitecturas VLA o decidir qué modelo usar en un proyecto real.
Conceptos clave
LLM (Large Language Model) procesa secuencias de tokens de texto. VLM (Vision-Language Model) añade un codificador visual para procesar imágenes junto con texto. VLA (Vision-Language-Action) amplía el VLM con una cabeza de acción que decodifica tokens en comandos motores continuos, como posición (x,y,z) y rotación del gripper.
2 La brecha entre entender y actuar
Qué es
El abismo fundamental entre la comprensión semántica (saber qué es un vaso) y la competencia motora (poder agarrar el vaso sin dejarlo caer). Los VLM entienden las escenas visuales con precisión, pero no pueden traducir esa comprensión en acciones físicas coordinadas.
Por qué aprender
Esta brecha define el problema central que las VLA intentan resolver. Reconocerla ayuda a entender por qué conectar simplemente un ChatGPT a un brazo robótico no funciona y qué técnicas de entrenamiento se necesitan para cerrar esa brecha.
Conceptos clave
La fundamentación es el proceso de anclar conceptos abstractos en percepciones sensoriales concretas. La brecha entre simulación y realidad se refiere a la diferencia entre el rendimiento en simulación y en el mundo real. El control de lazo cerrado es la capacidad del sistema de ajustar continuamente sus acciones según la retroalimentación sensorial.
3 Foundation models para robótica
Qué es
La aplicación del paradigma de foundation models (preentrenamiento a gran escala + fine-tuning) al ámbito de la robótica. En lugar de entrenar un modelo desde cero para cada tarea y robot, se usa un modelo base entrenado con grandes cantidades de datos de múltiples robots y entornos, que luego se adapta.
Por qué aprender
Los foundation models son la razón por la que los VLA se volvieron viables. El preentrenamiento con datos diversos de internet (visión, lenguaje) proporciona representaciones ricas que se transfieren sorprendentemente bien al control robótico, incluso con pocos datos de demostración.
Conceptos clave
El transfer learning permite reutilizar conocimientos de dominios con muchos datos (internet) en dominios con pocos datos (robótica). El preentrenamiento multimodal combina visión y lenguaje en una representación unificada. La generalización cross-embodiment permite que un solo modelo controle robots con morfologías diferentes.
4 Affordances: lo que el robot PUEDE hacer
Qué es
Concepto de la psicología ecológica de J.J. Gibson adaptado a la robótica: las affordances son las posibilidades de acción que un objeto o entorno ofrece a un agente específico. Un vaso «affords» ser agarrado; una puerta «affords» ser abierta. Para un VLA, detectar affordances significa identificar qué acciones son físicamente viables en la escena actual.
Por qué aprender
Los VLA no solo deben entender instrucciones en lenguaje natural, sino también evaluar si la acción solicitada es posible dado el estado actual del mundo. La detección de affordances es lo que distingue a un robot que intenta actuar a ciegas de uno que planifica acciones viables.
Conceptos clave
Las affordances visuales asignan regiones de la imagen a acciones posibles (superficies que se pueden agarrar, áreas transitables). SayCan de Google combina un LLM que propone acciones con una función de valor que filtra las acciones físicamente viables. La planificación de tareas y movimiento (TAMP) integra la planificación simbólica con la planificación de movimiento continuo.
5 IA incorporada vs. IA desencarnada
Qué es
La distinción entre la IA que existe solo en el espacio digital (chatbots, generadores de imágenes) y la IA incorporada en cuerpos físicos que interactúan con el mundo real. Embodied AI enfrenta desafíos ausentes en la IA tradicional: física newtoniana, latencia sensorial, desgaste mecánico y consecuencias irreversibles de los errores.
Por qué aprender
Trabajar con VLAs exige un cambio de mentalidad respecto a la IA convencional. Los errores no son solo respuestas incorrectas en un chat: pueden ser colisiones, objetos que caen o riesgos de seguridad. Entender esta diferencia fundamental es un requisito previo para diseñar sistemas robóticos responsables.
Conceptos clave
La hipótesis de la encarnación postula que la verdadera inteligencia requiere un cuerpo físico que interactúe con el entorno. Las contingencias sensoriomotoras son las regularidades entre las acciones y los cambios sensoriales que aprende un agente incorporado. La brecha de realidad es la diferencia entre la simulación y el mundo real, que dificulta mucho más el deploy de la IA incorporada.
6 Cronología: de GPT a los humanoides autónomos
Qué es
La cronología de los hitos que llevaron desde los primeros LLM modernos (GPT-3, 2020) hasta los humanoides autónomos actuales (Figure 02, GR00T, 2025-2026). Incluye el lanzamiento de RT-2 (2023), la fundación de Physical Intelligence (2024), OpenVLA (2024) y la explosión de startups de robótica en 2025.
Por qué aprender
La velocidad de la evolución es crucial para calibrar expectativas. En solo 3 años, pasamos de "los LLMs no pueden controlar robots" a "los VLAs generalistas controlan múltiples embodiments". Conocer la cronología ayuda a proyectar dónde estaremos en 2027-2028.
Conceptos clave
Las scaling laws en robótica investigan si más datos y parámetros mejoran el desempeño motor, como mejoran el lenguaje. Las capacidades emergentes en los VLA se refieren a habilidades que surgen con la escala sin ser entrenadas explícitamente. El ecosistema de código abierto (LeRobot, OpenVLA, Octo) democratiza el acceso que antes estaba restringido a laboratorios con millones invertidos en hardware.
Anatomía de un VLA: Visión + Lenguaje + Acción
Desarmando la arquitectura: encoder visual, backbone de lenguaje y decodificador de acciones.
1 Codificador visual: SigLIP, DINOv2, ViT
Qué es
El componente que convierte las imágenes de la cámara en representaciones vectoriales (visual tokens) que el backbone del LLM puede procesar. SigLIP usa contrastive learning con sigmoid loss, DINOv2 usa self-supervised learning sin labels, y ViT (Vision Transformer) divide la imagen en parches de 14x14 o 16x16 píxeles.
Por qué aprender
La calidad del encoder visual determina lo que el VLA "ve". Un encoder débil pierde detalles cruciales, como los bordes de los objetos o las texturas que indican fragilidad. La elección entre SigLIP y DINOv2 impacta directamente el rendimiento en tareas de manipulación fina.
Conceptos clave
Los embeddings de parches dividen la imagen en bloques y proyectan cada uno en un vector denso. El aprendizaje contrastivo (SigLIP) alinea imágenes y textos en el mismo espacio vectorial. Las características auto-supervisadas (DINOv2) capturan estructuras geométricas sin supervisión humana, por lo que son especialmente buenas para estimar la profundidad y segmentar objetos.
2 Backbone LLM: Llama, Gemma, Qwen
Qué es
El cerebro central del VLA, un LLM preentrenado que fusiona visual tokens con text tokens en un espacio de representación unificado. Modelos como Llama 3 (Meta), Gemma 2 (Google) y Qwen 2.5 (Alibaba) sirven de backbone porque ya cuentan con reasoning y world knowledge de miles de millones de tokens de texto.
Por qué aprender
El backbone LLM le da a VLA la capacidad de entender instrucciones complejas en lenguaje natural y razonar sobre escenas. La elección del backbone define el compromiso entre capacidad (7B, 13B, 72B parámetros) y latencia de inferencia, que es crítica para el control en tiempo real.
Conceptos clave
La projection layer mapea los visual tokens al espacio de embeddings del LLM (normalmente, una MLP sencilla). El instruction tuning adapta el backbone para seguir comandos robóticos. LoRA (Low-Rank Adaptation) permite ajustar el backbone de forma eficiente sin volver a entrenar todos los parámetros 7B+.
3 Action head: tokenización de acciones continuas
Qué es
El componente final que convierte la representación interna del LLM en comandos motores ejecutables. Las acciones de un robot son continuas (posición x=0.342m, torque=1.7Nm), pero los LLM operan con tokens discretos. El action head resuelve esta incompatibilidad mediante discretización o modelos generativos.
Por qué aprender
El action head es donde VLA se diferencia radicalmente de un VLM común. Es la innovación arquitectónica que permite generar acciones físicas. Distintos diseños (MLP, diffusion, flow matching) producen comportamientos cualitativamente diferentes en cuanto a suavidad, multimodalidad y precisión.
Conceptos clave
Discretization bins dividen el espacio continuo de acciones en N bins (normalmente 256) y tratan cada acción como un token categórico. Diffusion action head usa un proceso iterativo de denoising para generar acciones fluidas y multimodales. Flow matching (usado en pi0) aprende un campo vectorial que transforma ruido en acciones mediante una ODE.
4 Tokenización de trayectorias: bin discreto vs. continuo
Qué es
Dos enfoques fundamentales para representar trayectorias robóticas como secuencias procesables. En la discretización por bins, cada dimensión de la acción (x, y, z, rotaciones, gripper) se cuantiza en buckets. En el enfoque continuo, el modelo genera directamente vectores reales mediante regresión o modelos generativos.
Por qué aprender
Esta elección afecta directamente la precisión del control. Los bins discretos son simples y compatibles con el vocabulario del LLM, pero pierden resolución. Los enfoques continuos son más precisos, pero requieren arquitecturas especializadas. Entender este equilibrio es esencial para evaluar modelos VLA.
Conceptos clave
Action tokenization con 256 bins por dimensión ofrece una resolución de ~0.4mm en un espacio de trabajo de 10cm, suficiente para la mayoría de las tareas. Action chunking predice varias acciones futuras a la vez (normalmente 4-16 steps), lo que mejora la consistencia temporal. De-tokenization convierte los tokens predichos de nuevo en comandos continuos para el controlador del robot.
5 Co-fine-tuning: visión + lenguaje juntos
Qué es
El proceso de entrenar simultáneamente los componentes visuales y lingüísticos del VLA con datos de demostraciones robóticas. En lugar de congelar el encoder visual y entrenar solo el action head, el co-fine-tuning actualiza todos los componentes juntos para que aprendan representaciones optimizadas para el control motor.
Por qué aprender
El co-fine-tuning es lo que hace que los VLA superen a los pipelines modulares (percepción separada del control). OpenVLA demostró que entrenar visión y lenguaje juntos mejora el rendimiento hasta un 16.5% en comparación con el fine-tuning solo del action head, lo que justifica el costo computacional adicional.
Conceptos clave
El entrenamiento de extremo a extremo propaga los gradientes de la loss de acción hasta el codificador visual, adaptando las características visuales a la tarea. El olvido catastrófico es el riesgo de perder las capacidades lingüísticas originales durante el fine-tuning; se mitiga con regularización y una tasa de aprendizaje baja. El fine-tuning multitarea entrena con varias tareas simultáneas para mantener la generalidad.
6 Latencia y rendimiento: presupuesto de tokens
Qué es
Las restricciones de tiempo real que enfrentan los VLA: un robot necesita decidir acciones a 5-50 Hz, pero un LLM de 7B parámetros puede tardar cientos de milisegundos por token. El budget de tokens define cuántos visual tokens y action tokens puede procesar el sistema dentro del tiempo de control disponible.
Por qué aprender
La latencia es el cuello de botella práctico más crítico en los VLA reales. Un modelo brillante que tarda 500ms por acción es inútil para la manipulación dinámica. Entender el presupuesto de tokens ayuda a elegir entre modelos más grandes (mejores, pero lentos) y modelos compactos (rápidos, pero limitados).
Conceptos clave
La control frequency determina cuántas veces por segundo el modelo debe generar acciones (5 Hz para tareas lentas, 50 Hz para dexterous manipulation). KV-cache permite reutilizar cálculos de tokens anteriores, acelerando la inferencia. La cuantización (INT8, INT4) reduce el tamaño del modelo entre 2 y 4 veces con una pérdida mínima de rendimiento, lo que permite el deploy en GPUs integradas como Jetson Orin.
Panorama de modelos: RT-2, OpenVLA, π0, Qwen-VLA
El ecosistema de modelos VLA, desde pioneros cerrados hasta open-source.
1 RT-2 y RT-X: los pioneros de Google DeepMind
Qué es
RT-2 (Robotics Transformer 2) fue el primer VLA en entrenar conjuntamente datos robóticos y datos web a gran escala, lo que demostró que el conocimiento de Internet se transfiere al control motor. RT-X amplió esta idea al entrenar con el dataset Open X-Embodiment, que incluye varios robots, y creó un modelo generalista cross-embodiment.
Por qué aprender
RT-2 definió el paradigma que prácticamente todos los VLA siguen hoy. Entender sus decisiones de diseño y limitaciones (modelo cerrado, 55B parámetros, inferencia lenta) permite contextualizar por qué la comunidad buscó alternativas abiertas y eficientes como OpenVLA y Octo.
Conceptos clave
La transferencia de conocimiento a escala web reutiliza el conocimiento semántico de VLMs entrenados en internet para reconocer objetos nunca vistos en demostraciones. El coajuste fino mezcla batches de datos web y robóticos en el mismo entrenamiento. RT-2 representa acciones como tokens de texto, reutilizando el vocabulario del LLM para emitir comandos.
2 OpenVLA: el estándar open-source de Stanford
Qué es
OpenVLA es un modelo VLA de 7B parámetros totalmente open-source, entrenado con 970 mil trayectorias de Open X-Embodiment. Combina dos encoders visuales (SigLIP y DINOv2) con el backbone Llama 2, y alcanza un rendimiento competitivo con RT-2-X usando una fracción de los parámetros.
Por qué aprender
OpenVLA probablemente sea el modelo que usarás en la práctica para experimentar y hacer fine-tuning. Al ser abierto, con pesos y código disponibles, se convirtió en la baseline de referencia para la investigación académica y en el punto de partida natural para proyectos reales con presupuesto limitado.
Conceptos clave
El dual visual encoder (SigLIP + DINOv2) combina features semánticas y geométricas, lo que mejora la manipulación fina. Llama 2 7B sirve de backbone de razonamiento. El fine-tuning eficiente mediante LoRA se ejecuta en una sola GPU de consumo, y la cuantización permite una inferencia de ~6 Hz.
3 π0 (pi0): flow matching de Physical Intelligence
Qué es
π0 es el VLA insignia de Physical Intelligence, construido sobre el backbone PaliGemma y que usa flow matching para generar acciones continuas de alta frecuencia (hasta 50 Hz). Está diseñado para la manipulación dexterous compleja, como doblar ropa y armar cajas, en múltiples embodiments.
Por qué aprender
π0 representa el estado del arte en suavidad y frecuencia de control, áreas en las que fallan los modelos basados en tokenización discreta. Estudiarlo muestra cómo las técnicas generativas modernas (flow matching) hacen posible la manipulación fina que antes era inviable con los VLA.
Conceptos clave
Flow matching aprende un campo vectorial que transporta ruido gaussiano hacia la distribución de acciones mediante una ODE, y genera trayectorias suaves. Los action experts son subredes dedicadas a generar acciones, acopladas al backbone VLM. El control a 50 Hz permite realizar tareas de alta destreza con retroalimentación casi continua.
4 Octo: el transformer generalista de Berkeley
Qué es
Octo es un modelo generalista compacto (de 27M a 93M parámetros) basado en transformer, entrenado con 800 mil trayectorias de Open X-Embodiment. A diferencia de los VLA gigantes, fue diseñado con modularidad: se pueden agregar nuevos sensores y action heads sin volver a entrenarlo todo.
Por qué aprender
Octo demuestra que no todos los VLA necesitan miles de millones de parámetros. Su arquitectura flexible y ligera es ideal para la investigación rápida y el deploy en hardware modesto, por lo que es una alternativa práctica cuando OpenVLA es demasiado grande para el presupuesto de cómputo.
Conceptos clave
La arquitectura usa un transformer con bloques de atención sobre tokens de observación y tarea. El diseño modular permite conectar nuevos input heads (cámaras, propiocepción) y output heads sin reescribir el core. El diffusion action head genera acciones multimodales suaves, y el modelo admite condicionamiento por lenguaje o por imagen objetivo.
5 Qwen-VLA, SmolVLA y modelos compactos
Qué es
Una nueva generación de VLAs compactos optimizados para funcionar en hardware integrado y de bajo costo. SmolVLA (de Hugging Face/LeRobot) tiene menos de 500M parámetros y funciona en CPU; Qwen-VLA aprovecha los eficientes backbones Qwen-VL de Alibaba para equilibrar capacidad y latencia en modelos de 1-3B.
Por qué aprender
Los modelos compactos democratizan VLA: puedes entrenar y ejecutarlos en una sola GPU de consumo o incluso en un Jetson. Para quienes están aprendiendo o creando prototipos con plataformas accesibles como SO-100, estos modelos son el punto de entrada más realista, sin renunciar a capacidades fundamentales.
Conceptos clave
La destilación de conocimiento transfiere capacidades de modelos grandes a pequeños. SmolVLA usa inferencia asíncrona para separar la percepción y la acción, mejorando el rendimiento. La cuantización agresiva (INT4) y los backbones eficientes (Qwen2-VL) permiten la inferencia en el dispositivo a frecuencias útiles para el control.
6 Comparación: tamaño, licencia, embodiments, rendimiento
Qué es
Un análisis comparativo de las dimensiones importantes al elegir un VLA: número de parámetros, tipo de licencia (cerrada vs abierta vs permisiva), qué embodiments admite, frecuencia de control y tasa de éxito en benchmarks. No existe un mejor modelo absoluto; existe el mejor para cada restricción.
Por qué aprender
La elección del modelo es una de las decisiones de mayor impacto en un proyecto VLA. Saber comparar las ventajas y desventajas de RT-2 (potente, cerrado), OpenVLA (equilibrado, abierto), π0 (alta destreza) y los modelos compactos (económicos, limitados) evita decisiones costosas y retrabajo.
Conceptos clave
Benchmarks como LIBERO, SimplerEnv y las evaluaciones en robots reales miden la tasa de éxito en tareas estandarizadas. Las licencias varían desde propietarias (RT-2) hasta Apache 2.0 (OpenVLA, Octo). La cobertura de embodiments determina si el modelo se transfiere a tu robot específico sin un fine-tuning extenso.
Datasets: Open X-Embodiment y DROID
Los datos que alimentan los VLAs: escala, diversidad y formato.
1 Open X-Embodiment: el dataset que lo cambió todo
Qué es
Open X-Embodiment (OXE) es un esfuerzo colaborativo que reúne más de 1 millón de trayectorias robóticas de 22 embodiments distintos, recopiladas por 21 instituciones de todo el mundo. Es el mayor dataset abierto de manipulación robótica y la base de entrenamiento de modelos como RT-X y OpenVLA.
Por qué aprender
OXE es el dataset que hizo posibles los VLA generalistas. Sin él, cada lab entrenaría modelos aislados con datos propios y escasos. Entender su estructura y diversidad es esencial para saber qué "sabe" ya un VLA preentrenado y dónde probablemente fallará.
Conceptos clave
Cross-embodiment significa mezclar datos de robots con morfologías distintas (brazos de 6 y 7 DoF, distintos grippers) en un único entrenamiento. La heterogeneidad de cámaras, frecuencias y espacios de acción exige normalización. La diversidad a escala es lo que genera generalización, pero también introduce ruido y desequilibrio entre fuentes.
2 DROID: diversidad in-the-wild
Qué es
DROID (Distributed Robot Interaction Dataset) reúne cerca de 76 mil trayectorias recopiladas en 564 escenas y 86 tareas, en entornos reales muy diversos (oficinas, cocinas, baños). Todas usan la misma configuración estandarizada del brazo Franka, lo que facilita la consistencia a pesar de la diversidad de escenas.
Por qué aprender
DROID complementa a OXE con énfasis en la diversidad de entornos, no de robots. Esta variedad de escenas es justo lo que hace falta para que las VLA generalicen a lugares nuevos. Entender DROID ayuda a evaluar la robustez de un modelo fuera del laboratorio.
Conceptos clave
La captura In-the-wild registra variaciones de iluminación, fondo y distractores que no existen en entornos de laboratorio. El hardware estandarizado (Franka + cámaras fijas) reduce las variables de confusión. La diversidad de escenas mejora la generalización espacial, mientras que el número moderado de tareas limita la generalización semántica.
3 BridgeData V2: manipulación a escala de cocina
Qué es
BridgeData V2 es un conjunto de datos con más de 60 mil trayectorias de manipulación recopiladas con un brazo WidowX de bajo costo, centrado en tareas domésticas de cocina (mover objetos, abrir cajones, apilar). Se usa ampliamente como benchmark de transferencia y fine-tuning de VLAs.
Por qué aprender
BridgeData demuestra que los datos valiosos no requieren hardware costoso. Como usa un brazo accesible y tareas realistas, es una referencia frecuente en artículos científicos y un excelente objetivo para experimentos de fine-tuning cuando no tienes millones de trayectorias propias.
Conceptos clave
La diversidad de tareas en un entorno doméstico proporciona una señal rica de lenguaje-acción. El brazo WidowX de bajo costo demuestra una recopilación accesible y reproducible. BridgeData forma parte de OXE, pero también se usa de forma independiente como benchmark de evaluación cruzada entre modelos.
4 Formato RLDS / TFDS
Qué es
RLDS (Reinforcement Learning Datasets) es el formato estandarizado para almacenar trayectorias robóticas como secuencias de episodios, cada uno con steps que contienen observación, acción, recompensa y metadatos. Se basa en TFDS (TensorFlow Datasets), lo que permite transmitir datasets enormes de forma eficiente.
Por qué aprender
Para entrenar o hacer fine-tuning de cualquier VLA moderno, necesitarás leer y escribir datos en RLDS. Es el formato que reúne OXE, DROID y BridgeData bajo una interfaz común, y dominarlo es un requisito práctico para cualquier trabajo práctico con datos.
Conceptos clave
La estructura episodio → steps organiza los datos secuenciales de forma natural para el aprendizaje por imitación. TFDS ofrece pipelines de lectura con shuffling, prefetch y paralelismo. La normalización de los espacios de acción y la estandarización de las claves de observación son pasos críticos para combinar datasets heterogéneos.
5 Recopilación mediante teleoperación
Qué es
La principal forma de generar datos de demostración robótica: un operador humano controla el robot de forma remota (mediante joystick, brazo líder-seguidor o VR) mientras el sistema graba observaciones y acciones sincronizadas. Cada demostración teleoperada se convierte en una trayectoria etiquetada para el aprendizaje por imitación.
Por qué aprender
La teleoperación es el cuello de botella de costo y tiempo al construir datasets VLA. Entender sus modalidades y limitaciones revela por qué los datos robóticos son mucho más escasos que los datos de texto y por qué las técnicas de eficiencia de datos son tan valoradas en el área.
Conceptos clave
El esquema líder-seguidor (maestro-esclavo), como en ALOHA, replica en un brazo seguidor los movimientos de un brazo líder operado a mano. La teleoperación por VR mapea la mano del operador al efector final. La calidad de la demostración (suavidad, ausencia de vacilaciones) afecta directamente la política aprendida.
6 Calidad frente a cantidad y scaling laws
Qué es
El debate sobre si los VLA mejoran más con más datos (cantidad) o con datos mejor seleccionados (calidad), y cómo escala el rendimiento con el tamaño del dataset. En robótica, aún no está claro si se cumplen las mismas leyes de escala observadas en lenguaje y visión.
Por qué aprender
Esta pregunta determina dónde invertir recursos: recopilar más trayectorias, filtrar las existentes o diversificar las fuentes. En un proyecto real con presupuesto limitado, saber que la calidad suele superar a la cantidad puede ahorrar meses de teleoperación.
Conceptos clave
Las leyes de escalamiento de datos relacionan el tamaño del dataset con la tasa de éxito, con rendimientos decrecientes. La curación de datos filtra demostraciones de baja calidad y reequilibra las fuentes sobrerrepresentadas. La diversidad (de tareas, objetos y escenas) suele importar más que el volumen bruto para la generalización.
Hardware: cobots, humanoides y plataformas
Desde los brazos colaborativos hasta los humanoides — y plataformas accesibles para aprender.
1 Cobots industriales: Franka, UR, KUKA
Qué es
Los cobots (robots colaborativos) son brazos diseñados para operar de forma segura junto a las personas, sin jaulas de protección. Franka Emika (7 DoF, sensible al torque), Universal Robots (UR3/UR5/UR10) y KUKA (LBR iiwa) son las plataformas más usadas en investigación e industria ligera.
Por qué aprender
Los cobots son el hardware más común en los datasets y la investigación de VLA (Franka domina DROID). Conocer sus capacidades, límites de carga e interfaces de control es esencial para entender cómo se recopilaron las demostraciones y cómo desplegar una política.
Conceptos clave
Los grados de libertad (DoF) definen la movilidad del brazo; 7 DoF permiten evitar singularidades. El torque sensing en cada articulación permite el control de fuerza y la seguridad ante colisiones. Interfaces como ROS, libfranka y el protocolo de control en tiempo real conectan el brazo con el modelo de IA.
2 Humanoides: Figure, Unitree, Optimus, 1X
Qué es
Robots humanoides bípedos diseñados para operar en entornos construidos para las personas. Figure 02, Unitree G1/H1, Tesla Optimus y los robots de 1X son las plataformas comerciales más avanzadas; combinan locomoción bípeda, manipulación con manos y, cada vez más, control mediante VLAs.
Por qué aprender
Los humanoides son la frontera más visible y ambiciosa de la robótica VLA. Entender sus desafíos (equilibrio, whole-body control, costo) ayuda a distinguir el hype de la capacidad real y a calibrar las expectativas sobre lo que los VLAs pueden controlar hoy y en unos años.
Conceptos clave
El control de cuerpo completo coordina la locomoción y la manipulación simultáneamente. La locomoción bípeda exige control del equilibrio dinámico en tiempo real, que suele delegarse a controladores separados del VLA. El Unitree G1 redujo drásticamente el costo de entrada y volvió accesibles los humanoides para los labs de investigación.
3 Grippers y efectores finales
Qué es
El end-effector es la "mano" del robot, la interfaz final con el mundo. Puede ser desde grippers paralelos simples (dos pinzas que se abren y cierran) hasta manos dexterous antropomórficas con varios dedos y decenas de grados de libertad, pasando por ventosas y herramientas especializadas.
Por qué aprender
El end-effector define qué tareas son físicamente posibles. Un gripper paralelo basta para pick-and-place, pero las tareas dexterous (manipular tela, usar herramientas) requieren manos complejas. La elección impacta directamente en el espacio de acción que el VLA necesita controlar.
Conceptos clave
Los grippers paralelos tienen 1 DoF (abrir/cerrar) y son robustos y baratos. Las manos diestras (como Shadow Hand) tienen 20+ DoF, lo que permite una manipulación precisa, pero hace que el control sea mucho más difícil. La dimensionalidad del efector final determina el tamaño del action space en la salida del VLA.
4 Sensores: RGB-D, fuerza/par, táctil
Qué es
Los sentidos del robot. Las cámaras RGB-D (como Intel RealSense) proporcionan color y profundidad; los sensores de fuerza/torque en la muñeca miden la interacción con objetos; los sensores táctiles (GelSight, DIGIT) capturan la textura y el contacto en la punta de los dedos. Juntos forman la entrada perceptual del VLA.
Por qué aprender
La mayoría de los VLA actuales usa solo RGB, pero las tareas de contacto fino (insertar un conector, manipular un objeto frágil) dependen de la fuerza y el tacto. Conocer los sensores disponibles permite ver tanto las limitaciones de los modelos actuales como las líneas de investigación multimodal.
Conceptos clave
RGB-D agrega un canal de profundidad que ayuda a estimar la pose 3D. La detección de fuerza/torque permite el control de impedancia y la detección de contacto. Los sensores táctiles ofrecen retroalimentación local de alta resolución, crucial para la manipulación diestra, pero todavía están poco integrados en los VLAs más usados.
5 Plataformas accesibles: SO-100, Koch, ALOHA
Qué es
Brazos robóticos de bajo costo y código abierto creados para democratizar el aprendizaje de robótica. SO-100/SO-101 (del proyecto LeRobot de Hugging Face) cuestan unos cientos de dólares; Koch y ALOHA usan configuraciones líder-seguidor para una teleoperación accesible y la recopilación de datos.
Por qué aprender
Estas plataformas son la forma más realista de que la mayoría de las personas empiece a practicar VLA de verdad, con hardware físico y no solo en simulación. SO-100 + LeRobot es actualmente la configuración de entrada recomendada, integrada con modelos y datasets listos para usar.
Conceptos clave
LeRobot es la biblioteca de Hugging Face que combina hardware económico, datasets y políticas entrenables. La configuración líder-seguidor permite teleoperar moviendo a mano un brazo gemelo. El bajo costo facilita la recopilación de datos propios y el fine-tuning local sin inversión industrial.
6 Cómputo integrado: Jetson y latencia
Qué es
El hardware de cómputo que ejecuta el VLA, con frecuencia integrado en el propio robot. La línea NVIDIA Jetson (Orin Nano, AGX Orin) es el estándar para la inferencia on-device: ofrece una GPU en un formato compacto y de bajo consumo, viable para deploy autónomo sin servidor externo.
Por qué aprender
La elección del compute determina si el VLA funciona en tiempo real en el robot. Un modelo que requiere una GPU de centro de datos no puede instalarse en un humanoide autónomo. Entender los requisitos de latencia y memoria de Jetson es decisivo para diseñar sistemas realmente desplegables.
Conceptos clave
La latencia de inferencia debe caber en el período de control (p. ej., <100 ms para 10 Hz). La cuantización (INT8/INT4) y TensorRT optimizan el modelo para Jetson. La disyuntiva entre edge y cloud contrapone la autonomía y la baja latencia en el dispositivo a la mayor capacidad de los servidores remotos, con riesgo de retraso en la red.
Seguridad y normas: ISO 10218:2025
Seguridad desde el diseño y las normas que rigen la colaboración entre humanos y robots.
1 ISO 10218:2025: la norma para robots industriales
Qué es
ISO 10218:2025 es la norma internacional que define los requisitos de seguridad para robots industriales y sus integraciones. La revisión de 2025 unificó y actualizó las partes 1 (robot) y 2 (integración de sistema/celda), e incorporó explícitamente la operación colaborativa y escenarios modernos de interacción entre humanos y robots.
Por qué aprender
Cualquier deploy real de un robot en un entorno productivo debe cumplir esta norma. Para quienes trabajan con VLAs, define el margen de seguridad dentro del cual el modelo puede operar y es un requisito legal y ético antes de poner un robot cerca de personas.
Conceptos clave
La norma especifica requisitos de diseño, parada protectora y funciones de seguridad con nivel de desempeño (PL) definido por ISO 13849. Distingue el robot (parte 1) de la celda integrada (parte 2). La edición 2025 está alineada con la evolución de los cobots y de la operación colaborativa continua.
2 ISO/TS 15066: límites de fuerza y presión
Qué es
ISO/TS 15066 es la especificación técnica que complementa ISO 10218 con un enfoque específico en robots colaborativos. Define límites biomecánicos de fuerza y presión por región del cuerpo humano, para garantizar que el contacto entre un robot y una persona no cause lesiones.
Por qué aprender
Es la norma que hace físicamente segura la colaboración entre personas y robots. Cualquier VLA que controle un cobot que opere cerca de personas debe respetar estos límites, que en la práctica restringen la velocidad y la fuerza máximas de las acciones que puede emitir el modelo.
Conceptos clave
Los límites biomecánicos se tabulan por parte del cuerpo (p. ej., presión máxima en la mano frente al rostro). Define los cuatro modos de colaboración, incluidos power-and-force limiting (PFL) y speed-and-separation monitoring (SSM). Es una technical specification (TS), de carácter orientativo, pero referenciada por ISO 10218.
3 Seguridad desde el diseño para VLA
Qué es
La filosofía de incorporar la seguridad desde el diseño del sistema, en lugar de añadirla después como un parche. Para los VLA, significa diseñar la arquitectura, el espacio de acción y los límites del modelo de modo que los comportamientos peligrosos sean estructuralmente difíciles o imposibles.
Por qué aprender
Los VLA son modelos generativos impredecibles; no basta con confiar en que "se comportarán bien". Safety-by-design permite usar modelos probabilísticos en sistemas físicos sin exponer a las personas a riesgos, y es una competencia fundamental para cualquier ingeniero de robótica responsable.
Conceptos clave
Action clamping limita físicamente la salida del modelo a rangos seguros de velocidad y fuerza. Las capas de seguridad independientes del modelo (safety controllers determinísticos) actúan como red de protección. El principio de defense-in-depth combina varias barreras redundantes para que ningún fallo aislado cause daños.
4 Parada de emergencia y zonas: SSM y PFL
Qué es
Los mecanismos físicos y lógicos que detienen o modulan el movimiento del robot en presencia de personas. Incluye botones de parada de emergencia (e-stop), zonas de seguridad monitoreadas y los dos modos colaborativos principales: SSM (monitoreo de velocidad y separación) y PFL (limitación de potencia y fuerza).
Por qué aprender
Son las salvaguardas de último recurso que protegen a las personas independientemente de lo que decida hacer el VLA. Entender cómo funcionan SSM y PFL revela dónde termina el modelo de IA y el sistema de seguridad determinista toma el control.
Conceptos clave
El monitoreo de velocidad y separación (SSM) reduce la velocidad a medida que se acerca una persona y se detiene antes del contacto. Power-and-force limiting (PFL) permite el contacto, pero dentro de los límites biomecánicos de la TS 15066. La parada de emergencia de categoría 0/1 corta la energía de forma segura e independiente del software de control.
5 Análisis y mitigación de riesgos
Qué es
El proceso sistemático de identificar peligros potenciales de un sistema robótico, estimar la gravedad y probabilidad de cada uno y definir medidas para reducirlos a niveles aceptables. Es una etapa obligatoria, exigida por las normas, antes de cualquier deploy.
Por qué aprender
Toda integración robótica conforme a las normas comienza con un análisis de riesgos. Para los sistemas con VLA, debe considerar la imprevisibilidad del modelo, lo que amplía el alcance de los peligros que hay que evaluar. Saber realizarlo es un requisito previo para cualquier proyecto serio.
Conceptos clave
La jerarquía de mitigación prioriza la eliminación del peligro, seguida de las protecciones de ingeniería y, después, las advertencias y el EPI. Métodos como HAZOP y FMEA estructuran la identificación de fallas. La reducción del riesgo es iterativa: se evalúa, se mitiga y se vuelve a evaluar hasta que el riesgo residual sea aceptable.
6 Guardrails, fail-safe y validación de VLAs
Qué es
El conjunto de salvaguardas específicas para modelos generativos en el control físico: guardrails que filtran o bloquean las acciones inseguras propuestas por el VLA, comportamientos fail-safe que llevan al robot a un estado seguro en caso de falla, y procesos de verificación y validación (V&V) que comprueban el comportamiento del sistema.
Por qué aprender
Es la frontera entre un VLA experimental y uno que puede desplegarse. Como los modelos generativos pueden alucinar acciones, las barreras de seguridad y los mecanismos de protección son lo que permite confiar en ellos en producción. Sin una V&V robusta, ningún sistema VLA debería operar cerca de personas.
Conceptos clave
Los guardrails validan cada acción frente a las restricciones de seguridad antes de ejecutarla y rechazan los comandos que salen de los límites permitidos. Los comportamientos fail-safe definen el estado seguro predeterminado (detenerse, soltar la carga suavemente) cuando algo sale mal. La verificación y validación combinan pruebas en simulación, monitoreo en tiempo de ejecución y evaluación estadística del comportamiento a gran escala.