🗄️ Datasets: Open X-Embodiment y DROID
Los datos que alimentan los VLAs: escala, diversidad y formato. Desde millones de trayectorias robóticas hasta el pipeline RLDS que transforma la recopilación en bruto en foundation models.
🌐 Open X-Embodiment: el dataset que lo cambió todo
Open X-Embodiment (OXE) es el mayor esfuerzo colaborativo de datos robóticos realizado hasta la fecha. Más de 1 millón de trayectorias recopilados por 21 instituciones, que abarcan 22 embodiments diferentes, desde brazos industriales hasta robots bípedos. Es la base que hizo posibles los VLAs generalistas.
Por qué OXE es un hito histórico
Franka, UR, Kuka, Spot, Hello Robot y más: diversidad de cuerpos en un solo dataset.
Google, Stanford, Berkeley, CMU y otros colaboran en un dataset abierto.
Cada trayectoria es una secuencia de steps con observación, acción y metadatos de lenguaje.
✓ Qué hace posible OXE
- ✓ Preentrenamiento cross-embodiment (RT-X, OpenVLA)
- ✓ Transfer learning entre robots de distintas familias
- ✓ Investigación reproducible con una línea base común
- ✓ Estudio de las leyes de escalamiento para robótica
✗ Limitaciones reales de OXE
- ✗ Distribución desigual: algunos robots tienen 10x más datos
- ✗ Entornos de laboratorio controlados — poco in-the-wild
- ✗ Calidad variable entre colaboradores
- ✗ Anotaciones de lenguaje inconsistentes entre instituciones
Entrenar con un dataset multirrobot permite que el modelo aprenda políticas transferibles entre cuerpos diferentes.
Familia de modelos de Google entrenados con OXE; demostró que los datos colaborativos superan a los datos propios aislados.
Secuencia episódica de (observación, acción, recompensa) que registra cómo un robot ejecutó una tarea.
Patrón empírico: más trayectorias diversas → mejor generalización. Pero la diversidad importa más que el volumen bruto.
🏙️ DROID: diversidad en entornos reales
El DROID (Distributed Robot Interaction Dataset) ofrece algo que OXE no tiene: entornos reales no controlados. Con 76 mil trayectorias en 564 escenas distintas —oficinas, cocinas, baños— y un único hardware estandarizado (brazo Franka), DROID es el mayor dataset de manipulación in-the-wild disponible abiertamente.
📊 Cifras de DROID
💡 Por qué un solo robot es una ventaja
Usar solo el Franka elimina la variabilidad del hardware. El único factor de diversidad es el entorno — exactamente lo que queremos estudiar. El modelo aprende a generalizar a nuevos espacios, no a nuevos cuerpos. Es la abstracción adecuada para investigar la robustez ambiental.
✓ DROID destaca en
- ✓ Robustez ante variaciones de iluminación y distribución
- ✓ Despliegue en entornos fuera del laboratorio
- ✓ Ajuste fino rápido para nuevos espacios
✗ Limitaciones de DROID
- ✗ Solo 86 tareas — baja diversidad semántica
- ✗ Solo brazo — sin bimanualidad ni locomoción
- ✗ No generaliza a través de distintos embodiments por sí solo
Datos recopilados en entornos reales y no controlados, con objetos y escenarios no preparados — lo opuesto a un entorno de laboratorio.
Recopilación coordinada entre varios sitios con el mismo hardware y protocolo, para garantizar la consistencia a pesar de la diversidad de entornos.
🍳 BridgeData V2: manipulación a escala de cocina
BridgeData V2 es el conjunto de datos que demuestra que la recopilación accesible y reproducible funciona. Con más de 60 mil trayectorias recopilados con un brazo WidowX de bajo costo, enfocado en tareas domésticas de cocina, se convirtió en el benchmark estándar para fine-tuning y evaluación cruzada entre VLAs.
Cómo evolucionó BridgeData:
BridgeData V1 (2022)
Primeras ~7k trayectorias con WidowX. Muestra la viabilidad de recopilar datos a bajo costo para la manipulación doméstica.
BridgeData V2 (2023)
Escala a más de 60k trayectorias y diversifica las tareas y los entornos de cocina. Integrado en OXE como subconjunto.
Uso actual como benchmark
Estándar para evaluar la transferencia de VLAs, comparar políticas con fine-tuning y probar la generalización de instrucciones en lenguaje natural.
💡 WidowX como prueba de concepto
WidowX cuesta ~$3.000, una fracción del precio de los brazos industriales. BridgeData demuestra que la barrera para recopilar datos no es el hardware costoso, sino la consistencia del protocolo e a variedad de tareas. Esto democratizó la investigación en VLAs fuera de los grandes laboratorios.
La variedad de tareas dentro de un mismo entorno proporciona una señal rica de correspondencia entre lenguaje y acción.
BridgeData es el conjunto estándar para medir qué tan bien un VLA generalista se adapta a nuevos entornos domésticos.
Hardware económico + protocolo consistente = recopilación escalable. El costo del robot no determina la calidad de los datos.
📦 Formato RLDS / TFDS
RLDS (Reinforcement Learning Datasets) es el estándar de facto para datos robóticos. Basado en TFDS (TensorFlow Datasets), organiza las trayectorias como secuencias de episodios con steps estructurados, lo que permite transmitir datasets con millones de trayectorias de manera eficiente.
💡 Normalización de acciones: el paso crítico
Cada dataset tiene su propio espacio de acción: comandos de torque, velocidad de las articulaciones, posición delta, coordenadas absolutas. Para combinar OXE + DROID + BridgeData en un mismo entrenamiento, es necesario normalizar todas las acciones al mismo rango. Este único paso determina si el fine-tuning convergerá o divergerá.
Secuencia completa de pasos de una tarea: desde el estado inicial hasta el final (éxito o falla). Unidad básica de aprendizaje por imitación.
Un único timestep: observación actual → acción ejecutada → recompensa recibida → siguiente estado. La granularidad del aprendizaje.
Carga datos del disco bajo demanda, sin necesidad de tenerlo todo en la RAM. Permite entrenar con millones de trayectorias en hardware limitado.
Estandarizar nombres como image_primary, state, action es obligatorio para combinar datasets heterogéneos en un único DataLoader.
🎮 Recolección mediante teleoperación
Casi todos los datos de VLA provienen de teleoperación humana: un operador controla el robot en tiempo real mientras se graban las observaciones y acciones. La calidad del operador, la configuración de la recolección y la densidad de las demostraciones afectan directamente la política aprendida.
Métodos de teleoperación comparados
✓ Buenas prácticas de recopilación
- ✓ Demostraciones fluidas, sin vacilación excesiva
- ✓ Variar la posición inicial de los objetos entre episodios
- ✓ Incluir recuperaciones de fallas (recovery demos)
- ✓ Múltiples operadores para cubrir distintos estilos
✗ Errores comunes en la recopilación
- ✗ La vacilación repetida «contamina» la política con pausas
- ✗ Posición fija → el robot aprende la posición, no la tarea
- ✗ Ignorar episodios de fallo que podrían ser informativos
- ✗ Un solo operador → sesgo en el estilo de movimiento
💡 El efecto de la vacilación en la política
Si el operador duda antes de agarrar un objeto, el modelo aprende que dudar es parte de la política. El robot hará una pausa antes de cada grasping, incluso cuando no sea necesario. Datos de demostración limpios y fluidos producen políticas más decisivas y robustas que los datos abundantes pero con mucha vacilación.
⚖️ Calidad frente a cantidad y leyes de escalado
En NLP, más datos = mejor modelo es casi siempre cierto. En robótica, la relación es más sutil: la diversidad y la calidad superan el volumen bruto. Entender las scaling laws de los datos robóticos es fundamental para no desperdiciar recursos de recopilación.
📊 Qué dicen las scaling laws sobre los datos robóticos
Duplicar el volumen de datos de mismo entorno aporta mejoras marginales decrecientes después de cierto punto.
Añadir nuevos tipos de tarea o nuevos entornos aporta mejoras consistentes incluso con pocas demostraciones nuevas.
Los datos de mala calidad (dudas, colisiones, trayectorias anómalas) perjudican más de lo que ayudan — filtrarlos es importante.
Los modelos más grandes aprovechan mejor los datasets grandes, pero los modelos pequeños pueden saturarse con solo 10k demos de calidad.
✓ Estrategia de datos eficiente
- ✓ Priorizar la diversidad de tareas sobre el volumen
- ✓ Filtrar episodios con anomalías (colisiones, timeouts)
- ✓ Balancear conjuntos de datos al mezclar fuentes (OXE + DROID)
- ✓ Medir la distribución de acciones antes de entrenar
✗ Errores de los datasets grandes
- ✗ Asumir que más demos siempre = una política mejor
- ✗ Mezclar datasets sin normalizar los espacios de acción
- ✗ Ignorar el desequilibrio (90% agarrar, 10% soltar)
- ✗ No verificar la correlación entre el lenguaje y la acción en los datos
💡 Capacidades emergentes con la escala
Los VLA entrenados con el OXE completo muestran capacidades que no aparecen en subconjuntos más pequeños: composición de tareas, generalización a objetos nunca vistos y seguimiento de instrucciones ambiguas. Estas habilidades emergentes aparecen a escala — pero solo si los datos de origen cubren suficiente diversidad semántica, no solo volumen.
Relación empírica entre el volumen de datos, el tamaño del modelo y el rendimiento. En robótica, la diversidad de tareas escala mejor que el volumen por sí solo.
Técnica de muestreo que garantiza que los datasets más pequeños (BridgeData) no queden eclipsados por los datasets más grandes (OXE) durante el entrenamiento.
Habilidades que surgen en modelos más grandes entrenados con más datos sin haber sido programadas explícitamente — generalización zero-shot, composición de tareas.
Proceso de eliminar trayectorias anómalas, colisiones y demostraciones de baja calidad antes del entrenamiento. Tiene un impacto desproporcionado en la calidad de la política final.
✅ Resumen del módulo
Siguiente módulo
1.5 — Hardware: cobots, humanoides y plataformas