📦 Datasets: Open X-Embodiment, DROID, LIBERO

O Open X-Embodiment (OXE, 2023) es el "ImageNet de la robótica": una colaboración de ~20 laboratorios que unificó 60+ datasets en 1M+ trayectorias a través de 22 cuerpos robóticos diferentes — desde brazos de mesa hasta bases móviles. Eso hizo viable entrenar VLAs generalistas como OpenVLA y Octo.

# OXE é distribuído via TFDS; cada fonte é um dataset RLDS
import tensorflow_datasets as tfds
b = tfds.builder_from_directory("gs://gresearch/robotics/fractal20220817_data/0.1.0")
ds = b.as_dataset(split="train")
# misturar várias fontes com pesos -> treino generalista
sources = ["fractal20220817_data", "bridge", "kuka", "taco_play"]  # subset OXE

El resultado central de los papers RT-X (RT-1-X, RT-2-X) fue la transferencia positiva: entrenar un único modelo en varios cuerpos mejora el rendimiento en cada uno, en comparación con entrenarlos por separado. Los datos de un brazo Franka ayudan a generalizar a un WidowX: el conocimiento "se filtra" entre embodiments.

DROID (Distributed Robot Interaction Dataset, 2024) combate la diversidad: ~76k trayectorias recopiladas en 564 escenas y 86 tareas, en 13 instituciones, con una configuración estandarizada (Franka + RealSense). Es in-the-wild — oficinas, cocinas, laboratorios reales: no una mesa controlada.

LIBERO es menos un conjunto de datos de entrenamiento y más un benchmark de transferencia: mide cómo una policy aprende nuevas tareas sin olvidar las anteriores (aprendizaje continuo). Las cuatro suites aíslan dimensiones — Spatial, Object, Goal e Long (horizonte largo).

# suites do LIBERO (cada uma isola uma variação)
libero_spatial   # mesma tarefa, layout espacial diferente
libero_object    # mesmo layout, objetos diferentes
libero_goal      # mesma cena, objetivo/instrução diferente
libero_long      # tarefas de horizonte longo (10 subtarefas)
# métrica: success rate por suite -> robustez de transferência

Unir 60 datasets exige un formato común: RLDS (Reinforcement Learning Datasets) sobre TFDS. El desafío es la armonización: cada robot tiene su propio espacio de acción (articulaciones vs. Δpose, gripper binario vs. continuo, distintas frecuencias). Sin normalizarlo a una representación compartida, el coentrenamiento no transfiere.

import tensorflow_datasets as tfds
# carregar uma fonte do OXE (formato RLDS)
ds = tfds.load("fractal20220817_data", split="train")  # RT-1 dataset

for ep in ds.take(1):
    for step in ep["steps"]:
        step["observation"]["image"]      # frame
        step["action"]                    # action space do robô-fonte
        step["language_instruction"]      # instrução textual
# harmonizar: normalizar ações p/ representação comum (ex: EEF Δpose 7D)

Más datos no significan mejores datos. Curaduría — filtrar demos defectuosas, equilibrar la cobertura — con frecuencia supera aumentar el volumen bruto. Presta atención a sesgo de embodiment (datasets dominados por un robot) y a las licencias de cada fuente. Contribuir es simple: estandariza el formato y publica en el Hub.