E1 · Abrir o PushT
15 minInstale o LeRobot num venv, copie o abrir_dataset.py e rode.
Pronto quando: o terminal imprime episódios: 206 e fps: 10.
Aula 4 · 16 min
Dados: o combustível que falta
Texto para treinar LLM existe aos montes na internet. Dados de robô, não: alguém precisa mover o braço, gravar a câmera e anotar a tarefa. Em 2026 a resposta virou vídeo de gente trabalhando, filmado em primeira pessoa. Nesta aula você abre um dataset de robô de verdade.
Começar a aula
Nesta aula você vai
- 1Como a teleoperação gera um episódio
- 2Os acervos abertos e o que mudou com o vídeo humano
- 3O formato LeRobotDataset v3: Parquet, MP4 e metadados
- 4Carregar um dataset do Hub e ler episódios e fps
Objetivo: explicar de onde vêm os dados de robô (teleoperação, OXE/DROID, vídeo humano) e abrir um LeRobotDataset v3.
01O funil dos dados
Do mais caro e preciso ao mais barato e abundante. Clique em cada etapa.
Episódio = uma tentativa do começo ao fim. fps = quantos quadros por segundo foram gravados.
Na prática os modelos de 2026 misturam as quatro fontes: muito vídeo humano no pré-treino, teleoperação do seu robô no ajuste fino.
02Por dentro de um LeRobotDataset v3
O formato que o LeRobot usa desde a versão 0.4.
1. Poucos arquivos grandes
Os dados de tabela (estado, ação, índices) ficam em Parquet. O vídeo de cada câmera fica em MP4 concatenado e fatiado. Os metadados ficam em JSON e Parquet.
Você continua lendo por episódio: a biblioteca esconde onde cada quadro está guardado.
2. Um quadro
Cada índice devolve um dicionário de tensores PyTorch: a imagem da câmera, o estado do robô, a ação daquele instante e o carimbo de tempo.
É exatamente o par (observação → ação) que a política vai aprender a imitar na aula 5.
No PushT
observation.image (3×96×96), observation.state (posição do agente), action (para onde ir).
3. Novidades da 0.6
O formato ganhou profundidade (câmeras de distância) e colunas de linguagem, com anotação automática de linguagem. Segundo o blog da versão, o carregamento ficou até 2× mais rápido.
Dataset antigo v2.1 tem script de conversão para v3.
03Abrir um dataset do Hub
Sem conta e sem token: o lerobot/pusht é público. Primeiro instale o LeRobot (Python 3.12).
Terminal · instalar (Linux ou Mac)
python3.12 -m venv .venv source .venv/bin/activate pip install "lerobot[training]==0.6.1"
abrir_dataset.py
from lerobot.datasets import LeRobotDataset
ds = LeRobotDataset("lerobot/pusht")
print("episódios:", ds.num_episodes)
print("fps:", ds.fps)
print("quadros:", ds.num_frames)
print("chaves:", list(ds.features))
# onde começa e termina o episódio 0
ini = ds.meta.episodes["dataset_from_index"][0]
fim = ds.meta.episodes["dataset_to_index"][0]
print("episódio 0: quadros", ini, "a", fim - 1, f"({(fim - ini) / ds.fps:.1f} s)")
quadro = ds[ini]
print("estado:", quadro["observation.state"])
print("ação:", quadro["action"])
print("imagem:", tuple(quadro["observation.image"].shape))Terminal
python abrir_dataset.py
meta.py · só os metadados (não baixa os vídeos)
from lerobot.datasets import LeRobotDatasetMetadata
for repo in ["lerobot/libero", "lerobot/aloha_mobile_cabinet"]:
m = LeRobotDatasetMetadata(repo)
print(repo, "episódios:", m.total_episodes, "fps:", m.fps, "câmeras:", m.camera_keys)Exemplo do repositório
$ python abrir_dataset.py Warning: You are sending unauthenticated requests to the HF Hub. ... episódios: 206 fps: 10 quadros: 25650 chaves: ['observation.image', 'observation.state', 'action', 'episode_index', 'frame_index', 'timestamp', 'next.reward', 'next.done', 'next.success', 'index', 'task_index'] episódio 0: quadros 0 a 160 (16.1 s) estado: tensor([222., 97.]) ação: tensor([233., 71.]) imagem: (3, 96, 96) $ python meta.py lerobot/libero episódios: 1693 fps: 10.0 câmeras: ['observation.images.image', 'observation.images.image2'] lerobot/aloha_mobile_cabinet episódios: 85 fps: 50 câmeras: ['observation.images.cam_high', 'observation.images.cam_left_wrist', 'observation.images.cam_right_wrist']
LeRobot 0.6.1, Python 3.12. O aviso de "unauthenticated requests" é normal sem conta: só limita a velocidade. A primeira vez baixa o dataset (levou 12 s aqui); depois fica no cache.
pip install lerobotsozinho: desde a 0.6 a instalação base é enxuta e não traz o suporte a datasets. Use o extra[training](ou[dataset]).- Python antigo: a 0.6 pede Python 3.12 e PyTorch 2.7 ou mais novo.
- Erro de ffmpeg/torchcodec: o LeRobot decodifica vídeo com TorchCodec, que precisa de ffmpeg; em Linux ARM e alguns outros sistemas ele usa o pyav sozinho. Veja a página de instalação.
04Prática: o seu primeiro dataset de robô
Roda em qualquer computador com Python 3.12. Não precisa de GPU.
E2 · Ver um episódio
10 minAbra huggingface.co/datasets/lerobot/pusht no navegador e assista ao episódio 0 no visualizador. Compare com a duração que o script calculou.
Pronto quando: você confirma que o episódio 0 dura cerca de 16 s e sabe dizer o que o agente empurra.
E3 · Comparar com outros datasets
10 minRode o meta.py: ele lê só os metadados de dois datasets maiores, sem baixar os vídeos. Compare fps e número de câmeras com o PushT.
Pronto quando: o terminal mostra o ALOHA a 50 fps com 3 câmeras e você anotou o nome das 3 câmeras dele.
05Teste o que aprendeu
A explicação aparece depois da sua resposta.
Pergunta 1 de 4
O que é um episódio num dataset de robô?competência
Correto
Episódio é uma tentativa inteira. O PushT tem 206 episódios e 25.650 quadros: em média pouco mais de 120 quadros por tentativa.Não é essa
Episódio é uma tentativa inteira. O PushT tem 206 episódios e 25.650 quadros: em média pouco mais de 120 quadros por tentativa.Rever: O funil dos dadosPergunta 2 de 4
Um episódio tem 161 quadros gravados a 10 fps. Quanto ele dura?
Correto
161 quadros ÷ 10 quadros por segundo = 16,1 s. É a conta que o script faz com dataset_from_index e dataset_to_index.Não é essa
161 quadros ÷ 10 quadros por segundo = 16,1 s. É a conta que o script faz com dataset_from_index e dataset_to_index.Rever: Abrir um dataset do HubPergunta 3 de 4
Qual fonte de dados virou a principal no pré-treino dos modelos de 2026?
Correto
Index da Figure, EgoVerse e o pré-treino do GR00T N1.7 apontam para vídeo humano egocêntrico. A teleoperação continua para o ajuste fino no seu robô.Não é essa
Index da Figure, EgoVerse e o pré-treino do GR00T N1.7 apontam para vídeo humano egocêntrico. A teleoperação continua para o ajuste fino no seu robô.Rever: O funil dos dadosPergunta 4 de 4
Por que pip install lerobot sozinho não abre o dataset na 0.6?
Correto
Desde a 0.6 os extras separam as funções: [dataset] para abrir dados, [training] para treinar (inclui dataset). Nenhum dos dois exige conta.Não é essa
Desde a 0.6 os extras separam as funções: [dataset] para abrir dados, [training] para treinar (inclui dataset). Nenhum dos dois exige conta.Rever: Abrir um dataset do HubTeste concluído
Você acertou {a} de {n}. Acertando todas, a aula é marcada como concluída.Escolha uma alternativa. A explicação aparece depois da sua tentativa.
06Resumo
Quatro fontesTeleoperação, acervos abertos, vídeo humano e simulação.
2026 = vídeo humanoÉ o que mais escala no pré-treino; a teleoperação ajusta ao seu robô.
LeRobotDataset v3Parquet + MP4 + metadados, lido por episódio, com um import.