E1 · Avaliar 10 episódios
15 minInstale o lerobot[pusht] e rode o lerobot-eval do quadro (cpu ou cuda).
Pronto quando: o terminal mostra pc_success e n_episodes: 10, e existe outputs/eval/act_200/eval_info.json.
Aula 6 · 16 min
Simular antes de quebrar: sim, avaliação e sim-to-real
Testar no robô real custa tempo, peça e paciência. O simulador deixa errar mil vezes de graça e dá um número: a taxa de sucesso. Mas o número só vale se o teste for difícil o bastante e se o mundo simulado se parecer com o real.
Começar a aula
Nesta aula você vai
- 1Os simuladores de 2026: MuJoCo, Isaac Sim/Lab e Newton
- 2Rodar lerobot-eval e ler a taxa de sucesso
- 3Por que benchmark saturado não separa modelos
- 4Randomização e identificação de sistema contra o reality gap
Objetivo: avaliar uma política em simulação e saber por que LIBERO sozinho não basta mais.
01Do simulador ao mundo real
Clique em cada etapa.
Reality gap = a distância entre o que a política vê e sente no simulador e no robô de verdade.
Simulação para errar barato; benchmark para comparar; mundo real para decidir.
02Três ideias para não se enganar
Clique em cada uma.
1. Benchmark saturado
Em 2026 vários modelos passam de 97% no LIBERO: OpenVLA-OFT 97,1%, X-VLA 98,1%, MolmoAct 2-Think 98,1%. Quando todos tiram nota máxima, a prova não separa ninguém.
Por isso aparecem provas mais duras (LIBERO-plus, RoboTwin 2.0) e avaliação real (RoboArena, MolmoBot).
2. Randomização
Em vez de um simulador perfeito, você varia de propósito cor, luz, atrito, massa e posição da câmera em cada episódio.
A política que aprende com tanta variação trata o mundo real como só mais uma variação.
3. Identificação
Você mede o robô real (massa, atrito, atraso dos motores) e ajusta o simulador para bater.
O MuJoCo 3.5.0 (fev/2026) trouxe uma caixa de ferramentas em Python para isso, além de atrasos de atuador e sensor.
Na prática
Use as duas juntas: meça o que dá para medir e randomize o resto.
03Avaliar a sua política no PushT
Instale o ambiente simulado e rode a política que você treinou na aula 5.
Terminal · instalar o ambiente PushT
pip install "lerobot[pusht]==0.6.1"
Terminal · avaliar em 10 episódios
lerobot-eval \ --policy.path=outputs/train/act_pusht_teste/checkpoints/last/pretrained_model \ --env.type=pusht \ --eval.n_episodes=10 \ --eval.batch_size=10 \ --eval.use_async_envs=false \ --policy.device=cuda \ --output_dir=outputs/eval/act_200
Terminal · ver o resultado e os vídeos
python -c "import json; d = json.load(open('outputs/eval/act_200/eval_info.json')); print(d['overall'])"
ls outputs/eval/act_200/videos/pusht_0/Exemplo do repositório
INFO ... Overall Aggregated Metrics:
INFO ... {'avg_sum_reward': 11.107..., 'avg_max_reward': 0.0824..., 'pc_success': 0.0, 'n_episodes': 10, 'eval_s': 9.46...}
INFO ... End of eval
# mesma avaliação com o checkpoint de 5000 passos (E3 da aula 5), 20 episódios:
{'avg_sum_reward': 19.45..., 'avg_max_reward': 0.275..., 'pc_success': 0.0, 'n_episodes': 20, 'eval_s': 14.0...}LeRobot 0.6.1. Com 200 passos: 13 s no total, tanto na GPU quanto só na CPU (a avaliação é leve). pc_success é a taxa de sucesso em %; avg_max_reward mostra quanto a política chegou perto do alvo (maior é melhor). Os dois treinos curtos dão 0% de sucesso: a política ainda não empurra o T até o alvo, mas com 5000 passos chega mais perto (0,08 → 0,28).
- "Namespace gym_pusht not found": aconteceu aqui com mais de um ambiente em paralelo. A opção
--eval.use_async_envs=falseresolveu. - Checkpoint antigo do Hub: o
lerobot/diffusion_pushtpede migração de formato na 0.6 e não roda direto. Avalie o seu. - Ler 0% como "não funciona": com poucos passos é o esperado. Olhe a recompensa e os vídeos para ver se melhorou.
- Sem tela: em servidor sem monitor, use
SDL_VIDEODRIVER=dummyantes do comando.
04Prática: a sua primeira taxa de sucesso
Use o checkpoint da aula 5.
E2 · Assistir a política
10 minAbra dois vídeos em outputs/eval/act_200/videos/pusht_0/ e descreva em uma frase o que a política faz de errado.
Pronto quando: a sua frase diz onde ela falha (não chega ao bloco, empurra para o lado errado, para no meio).
E3 · Comparar dois checkpoints
10 minSe você fez o treino de 5000 passos, avalie também (troque o --policy.path e o --output_dir) e compare avg_max_reward.
Pronto quando: você tem os dois números lado a lado e sabe dizer qual política chegou mais perto do alvo.
05Teste o que aprendeu
A explicação aparece depois da sua resposta.
Pergunta 1 de 4
O que o pc_success do lerobot-eval mede?competência
Correto
É a taxa de sucesso em N episódios. A loss é do treino; o sucesso é da tarefa. São números diferentes.Não é essa
É a taxa de sucesso em N episódios. A loss é do treino; o sucesso é da tarefa. São números diferentes.Rever: Avaliar a sua política no PushTPergunta 2 de 4
Por que LIBERO sozinho não serve mais para comparar VLAs?
Correto
Com todos perto de 100%, a prova não separa. Use versões mais duras (LIBERO-plus, RoboTwin 2.0) ou avaliação real (RoboArena).Não é essa
Com todos perto de 100%, a prova não separa. Use versões mais duras (LIBERO-plus, RoboTwin 2.0) ou avaliação real (RoboArena).Rever: Três ideias para não se enganarPergunta 3 de 4
Variar de propósito luz, atrito e massa no simulador a cada episódio é…
Correto
Randomização ensina a política a aguentar variação. Identificação de sistema faz o contrário: mede o robô e aproxima o simulador dele.Não é essa
Randomização ensina a política a aguentar variação. Identificação de sistema faz o contrário: mede o robô e aproxima o simulador dele.Rever: Três ideias para não se enganarPergunta 4 de 4
A sua política teve 0% de sucesso e avg_max_reward subiu de 0,08 para 0,28 com mais treino. O que concluir?
Correto
Sucesso é binário por episódio; a recompensa mostra o quanto chegou perto. Treino curto é para aprender o ciclo, não para resolver a tarefa.Não é essa
Sucesso é binário por episódio; a recompensa mostra o quanto chegou perto. Treino curto é para aprender o ciclo, não para resolver a tarefa.Rever: Avaliar a sua política no PushTTeste concluído
Você acertou {a} de {n}. Acertando todas, a aula é marcada como concluída.Escolha uma alternativa. A explicação aparece depois da sua tentativa.
06Resumo
Simule, compare, decidaSimulador para errar barato, benchmark para comparar, robô real para decidir.
Um comandolerobot-eval roda N episódios e devolve pc_success e vídeos.
Reality gapRandomize o que não dá para medir e meça o que dá (sysid).