E1 · Abrir PushT
15 minInstala LeRobot en un venv, copia abrir_dataset.py y ejecútalo.
Listo cuando: la terminal imprime episódios: 206 y fps: 10.
Clase 4 · 16 min
Datos: el combustible que falta
Texto para entrenar un LLM hay de sobra en internet. Datos de robot, no: alguien tiene que mover el brazo, grabar la cámara y anotar la tarea. En 2026 la respuesta pasó a ser video de personas trabajando, filmado en primera persona. En esta clase abres un dataset de robot de verdad.
Comenzar la lección
En esta lección vas a
- 1Cómo la teleoperación genera un episodio
- 2Los acervos abiertos y qué cambió con el video humano
- 3El formato LeRobotDataset v3: Parquet, MP4 y metadatos
- 4Cargar un dataset del Hub y leer episodios y fps
Objetivo: explicar de dónde vienen los datos de robot (teleoperación, OXE/DROID, video humano) y abrir un LeRobotDataset v3.
01El embudo de los datos
Del más caro y preciso al más barato y abundante. Haz clic en cada etapa.
Episodio = un intento de principio a fin. fps = cuántos cuadros por segundo se grabaron.
En la práctica, los modelos de 2026 mezclan las cuatro fuentes: mucho video humano en el preentrenamiento, teleoperación de tu robot en el ajuste fino.
02Por dentro de un LeRobotDataset v3
El formato que LeRobot usa desde la versión 0.4.
1. Pocos archivos grandes
Los datos de tabla (estado, acción, índices) quedan en Parquet. El video de cada cámara queda en MP4 concatenado y fragmentado. Los metadatos quedan en JSON y Parquet.
Sigues leyendo por episodio: la biblioteca oculta dónde se guarda cada cuadro.
2. Un cuadro
Cada índice devuelve un diccionario de tensores PyTorch: la imagen de la cámara, el estado del robot, la acción de ese instante y la marca de tiempo.
Es exactamente el par (observación → acción) que la política aprenderá a imitar en la clase 5.
En PushT
observation.image (3×96×96), observation.state (posición del agente), action (hacia dónde ir).
3. Novedades de la 0.6
El formato ganó profundidad (cámaras de distancia) y columnas de lenguaje, con anotación automática de lenguaje. Según el blog de la versión, la carga quedó hasta 2× más rápida.
El dataset antiguo v2.1 tiene un script de conversión a v3.
03Abrir un dataset del Hub
Sin cuenta y sin token: lerobot/pusht es público. Primero instala LeRobot (Python 3.12).
Terminal · instalar (Linux o Mac)
python3.12 -m venv .venv source .venv/bin/activate pip install "lerobot[training]==0.6.1"
abrir_dataset.py
from lerobot.datasets import LeRobotDataset
ds = LeRobotDataset("lerobot/pusht")
print("episódios:", ds.num_episodes)
print("fps:", ds.fps)
print("quadros:", ds.num_frames)
print("chaves:", list(ds.features))
# dónde empieza y termina el episodio 0
ini = ds.meta.episodes["dataset_from_index"][0]
fim = ds.meta.episodes["dataset_to_index"][0]
print("episódio 0: quadros", ini, "a", fim - 1, f"({(fim - ini) / ds.fps:.1f} s)")
quadro = ds[ini]
print("estado:", quadro["observation.state"])
print("ação:", quadro["action"])
print("imagem:", tuple(quadro["observation.image"].shape))Terminal
python abrir_dataset.py
meta.py · solo los metadatos (no descarga los videos)
from lerobot.datasets import LeRobotDatasetMetadata
for repo in ["lerobot/libero", "lerobot/aloha_mobile_cabinet"]:
m = LeRobotDatasetMetadata(repo)
print(repo, "episódios:", m.total_episodes, "fps:", m.fps, "câmeras:", m.camera_keys)Ejemplo del repositorio
$ python abrir_dataset.py Warning: You are sending unauthenticated requests to the HF Hub. ... episódios: 206 fps: 10 quadros: 25650 chaves: ['observation.image', 'observation.state', 'action', 'episode_index', 'frame_index', 'timestamp', 'next.reward', 'next.done', 'next.success', 'index', 'task_index'] episódio 0: quadros 0 a 160 (16.1 s) estado: tensor([222., 97.]) ação: tensor([233., 71.]) imagem: (3, 96, 96) $ python meta.py lerobot/libero episódios: 1693 fps: 10.0 câmeras: ['observation.images.image', 'observation.images.image2'] lerobot/aloha_mobile_cabinet episódios: 85 fps: 50 câmeras: ['observation.images.cam_high', 'observation.images.cam_left_wrist', 'observation.images.cam_right_wrist']
LeRobot 0.6.1, Python 3.12. El aviso de "unauthenticated requests" es normal sin cuenta: solo limita la velocidad. La primera vez descarga el dataset (tardó 12 s aquí); después queda en la caché.
pip install lerobotsolo: desde la 0.6 la instalación base es ligera y no trae el soporte para datasets. Usa el extra[training](o[dataset]).- Python antiguo: la 0.6 pide Python 3.12 y PyTorch 2.7 o más reciente.
- Error de ffmpeg/torchcodec: LeRobot decodifica video con TorchCodec, que necesita ffmpeg; en Linux ARM y en algunos otros sistemas usa pyav automáticamente. Mira la página de instalación.
04Práctica: tu primer dataset de robot
Corre en cualquier computador con Python 3.12. No necesita GPU.
E2 · Ver un episodio
10 minAbre huggingface.co/datasets/lerobot/pusht en el navegador y mira el episodio 0 en el visualizador. Compáralo con la duración que calculó el script.
Listo cuando: confirmas que el episodio 0 dura cerca de 16 s y sabes decir qué empuja el agente.
E3 · Comparar con otros datasets
10 minEjecuta meta.py: lee solo los metadatos de dos datasets más grandes, sin descargar los videos. Compara fps y número de cámaras con PushT.
Listo cuando: la terminal muestra ALOHA a 50 fps con 3 cámaras y anotaste el nombre de sus 3 cámaras.
05Prueba lo que aprendiste
La explicación aparece después de tu respuesta.
Pregunta 1 de 4
¿Qué es un episodio en un dataset de robot?competencia
Correcto
Un episodio es un intento completo. PushT tiene 206 episodios y 25.650 cuadros: en promedio, poco más de 120 cuadros por intento.No es esa
Un episodio es un intento completo. PushT tiene 206 episodios y 25.650 cuadros: en promedio, poco más de 120 cuadros por intento.Repasar: El embudo de los datosPregunta 2 de 4
Un episodio tiene 161 cuadros grabados a 10 fps. ¿Cuánto dura?
Correcto
161 cuadros ÷ 10 cuadros por segundo = 16,1 s. Es la cuenta que hace el script con dataset_from_index y dataset_to_index.No es esa
161 cuadros ÷ 10 cuadros por segundo = 16,1 s. Es la cuenta que hace el script con dataset_from_index y dataset_to_index.Repasar: Abrir un dataset del HubPregunta 3 de 4
¿Qué fuente de datos pasó a ser la principal en el preentrenamiento de los modelos de 2026?
Correcto
Index de Figure, EgoVerse y el preentrenamiento de GR00T N1.7 apuntan a video humano egocéntrico. La teleoperación sigue para el ajuste fino en tu robot.No es esa
Index de Figure, EgoVerse y el preentrenamiento de GR00T N1.7 apuntan a video humano egocéntrico. La teleoperación sigue para el ajuste fino en tu robot.Repasar: El embudo de los datosPregunta 4 de 4
¿Por qué pip install lerobot solo no abre el dataset en la 0.6?
Correcto
Desde la 0.6 los extras separan las funciones: [dataset] para abrir datos, [training] para entrenar (incluye dataset). Ninguno de los dos exige cuenta.No es esa
Desde la 0.6 los extras separan las funciones: [dataset] para abrir datos, [training] para entrenar (incluye dataset). Ninguno de los dos exige cuenta.Repasar: Abrir un dataset del HubPrueba terminada
Acertaste {a} de {n}. Si aciertas todas, la clase se marca como completada.Elige una alternativa. La explicación aparece después de tu intento.
06Resumen
Cuatro fuentesTeleoperación, acervos abiertos, video humano y simulación.
2026 = video humanoEs lo que más escala en el preentrenamiento; la teleoperación ajusta al robot.
LeRobotDataset v3Parquet + MP4 + metadatos, leído por episodio, con un import.