📦 Datasets: Open X-Embodiment, DROID, LIBERO

O Open X-Embodiment (OXE, 2023) é o "ImageNet da robótica": uma colaboração de ~20 laboratórios que unificou 60+ datasets em 1M+ trajetórias através de 22 corpos de robô diferentes — de braços de mesa a bases móveis. Foi o que tornou viável treinar VLAs generalistas como OpenVLA e Octo.

# OXE é distribuído via TFDS; cada fonte é um dataset RLDS
import tensorflow_datasets as tfds
b = tfds.builder_from_directory("gs://gresearch/robotics/fractal20220817_data/0.1.0")
ds = b.as_dataset(split="train")
# misturar várias fontes com pesos -> treino generalista
sources = ["fractal20220817_data", "bridge", "kuka", "taco_play"]  # subset OXE

O resultado central dos papers RT-X (RT-1-X, RT-2-X) foi a transferência positiva: treinar um único modelo em vários corpos melhora o desempenho em cada um, comparado a treinar isolado. Dados de um braço Franka ajudam a generalização num WidowX — o conhecimento "vaza" entre embodiments.

DROID (Distributed Robot Interaction Dataset, 2024) ataca a diversidade: ~76k trajetórias coletadas em 564 cenas e 86 tarefas, em 13 instituições, com setup padronizado (Franka + RealSense). É in-the-wild — escritórios, cozinhas, laboratórios reais — não uma mesa controlada.

LIBERO é menos um dataset de treino e mais um benchmark de transferência: mede como uma policy aprende novas tarefas sem esquecer as antigas (lifelong learning). As quatro suites isolam dimensões — Spatial, Object, Goal e Long (horizonte longo).

# suites do LIBERO (cada uma isola uma variação)
libero_spatial   # mesma tarefa, layout espacial diferente
libero_object    # mesmo layout, objetos diferentes
libero_goal      # mesma cena, objetivo/instrução diferente
libero_long      # tarefas de horizonte longo (10 subtarefas)
# métrica: success rate por suite -> robustez de transferência

Juntar 60 datasets exige um formato comum: RLDS (Reinforcement Learning Datasets) sobre TFDS. O desafio é a harmonização: cada robô tem action space próprio (juntas vs Δpose, gripper binário vs contínuo, frequências diferentes). Sem normalizar para uma representação compartilhada, o co-treino não transfere.

import tensorflow_datasets as tfds
# carregar uma fonte do OXE (formato RLDS)
ds = tfds.load("fractal20220817_data", split="train")  # RT-1 dataset

for ep in ds.take(1):
    for step in ep["steps"]:
        step["observation"]["image"]      # frame
        step["action"]                    # action space do robô-fonte
        step["language_instruction"]      # instrução textual
# harmonizar: normalizar ações p/ representação comum (ex: EEF Δpose 7D)

Mais dado não é melhor dado. Curadoria — filtrar demos falhas, balancear cobertura — frequentemente bate aumentar o volume bruto. Atenção ao viés de embodiment (datasets dominados por um robô) e às licenças de cada fonte. Contribuir é simples: padronize no formato e publique no Hub.