E1 · Rodar o ciclo
5 minRode a simulação até o fim, interrompa uma vez no meio e retome.
Pronto quando: a etapa "Rodar" aparece em falhou/ e as etapas de feito/ não foram refeitas na retomada.
Aula 7 · 16 min
Além da imitação: RL, world models e memória
Imitar tem um teto: a política só aprende o que a pessoa mostrou e não sabe sair de um erro que nunca viu. Em 2026 três ideias empurram esse teto: aprender com a própria experiência (RL), prever o futuro em vídeo (World Action Models) e lembrar do que já fez (memória).
Começar a aula
Nesta aula você vai
- 1O ciclo imitar → rodar → falhar → corrigir
- 2RL no pós-treino: Recap e RL Token
- 3World Action Models: DreamZero, GR00T N2, Cosmos 3
- 4Memória para tarefas de mais de 10 minutos
Objetivo: explicar RL depois da imitação, World Action Models e memória longa com exemplos de 2026.
01A linha da fronteira
Role a página: cada etapa acende uma parte.
Role a página: cada etapa abaixo acende a sua parte do diagrama.
- 1/5
Imitação
O que você fez na aula 5: a política copia as ações do dataset. Funciona, mas herda os limites das demonstrações.
- 2/5
RL depois
Depois de imitar, a política roda, erra e aprende com o resultado e com correções humanas. Segundo a PI, o Recap mais que dobrou o throughput em tarefas difíceis e reduziu as falhas pela metade ou mais.
- 3/5
World Action Model
O modelo prevê o vídeo do que vai acontecer junto com a ação. A aposta é que prever o futuro ensina física melhor do que prever só a ação.
- 4/5
Memória
Lembrar o que já foi feito para não repetir nem pular etapa. O MEM da PI fez tarefas de mais de 10 minutos, como limpar a cozinha inteira.
- 5/5
A fronteira inteira
Imitação dá o começo; RL corrige com a experiência; o World Action Model prevê o futuro; a memória segura tarefas longas. Os modelos de ponta de 2026 combinam mais de uma.
02Os exemplos de 2026
Clique em cada um. Números são os informados pelas empresas.
1. Recap
RL com correções e políticas condicionadas a vantagem: a política aprende o que foi melhor e o que foi pior nas próprias tentativas, e com as correções de uma pessoa.
Segundo a PI, o π*0.6 fez espresso das 5h30 às 23h30, dobrou 50 peças novas e montou 59 caixas numa fábrica.
2. RL Token
O VLA aprende a emitir um "RL token" que resume o que ele vê. Um ator-crítico pequeno treina RL em tempo real sobre esse token, com poucas horas ou minutos de dados.
Testado em tarefas de precisão como apertar parafuso M3 com chave elétrica e encaixar cabo ethernet.
3. DreamZero
World Action Model de 14B que prevê vídeo e ação juntos e controla em malha fechada a 7 Hz. Segundo o paper, generaliza mais que o dobro dos VLAs de ponta em tarefas e ambientes novos.
O GR00T N2, anunciado em mar/2026 sobre essa arquitetura, estava previsto para o fim de 2026 e não tinha lançamento confirmado até out/2026.
4. MEM e π0.7
O MEM dá memória de curto e longo prazo ao VLA, avaliado sobre o π0.6, em tarefas de mais de 10 minutos.
O π0.7 (abr/2026) aceita no prompt metadados de qualidade e velocidade e imagens de subobjetivo, e aprende com "coaching" por linguagem a usar aparelhos que não viu. É fechado.
03O ciclo imitar → rodar → falhar → corrigir
Rode o ciclo. Uma etapa falha de propósito na primeira vez: veja o que a correção faz.
a fazer/
rodando/
feito/
falhou/
Simulação ilustrativa no navegador: nenhum robô roda de verdade. A falha é proposital, para mostrar onde a imitação para e a correção começa.
04Registrar o ciclo
Copie o modelo e anote cada volta. Sem número antes e depois, não dá para dizer qual etapa ajudou.
ciclo.md
# Ciclo de melhoria: <tarefa> | Volta | O que mudou | Tentativas | Sucessos | Taxa | Falha mais comum | |---|---|---|---|---|---| | 1 | só imitação (N demonstrações) | 20 | | | | | 2 | + correções humanas (dagger) | 20 | | | | | 3 | + ajuste com RL | 20 | | | | Conclusão: a etapa que mais reduziu a falha foi ______ porque ______.
Com o braço real: correções com dagger (da documentação do LeRobot 0.6, não rodado aqui)
lerobot-rollout \ --strategy.type=dagger \ --policy.path=<seu usuário>/minha_politica \ --robot.type=so101_follower \ --robot.port=/dev/ttyACM0 \ --teleop.type=so101_leader \ --teleop.port=/dev/ttyACM1 \ --dataset.repo_id=<seu usuário>/correcoes_dagger \ --dataset.single_task="Pegue o bloco"
Simulação: exemplo ilustrativo
- Compare a taxa de uma volta para a outra com o mesmo número de tentativas.
- Mude uma coisa por volta; se mudar duas, você não sabe qual ajudou.
- O comando dagger precisa do braço (e de conta no Hub para enviar o dataset); está aqui para você reconhecer o fluxo.
05Prática: qual etapa reduziu a falha?
Use a simulação acima e os exemplos.
E2 · Explicar a falha
10 minEscreva três linhas: por que a imitação falhou, qual etapa trata a falha e qual exemplo de 2026 faz algo parecido.
Pronto quando: as três linhas citam a falta do caso nas demonstrações, a etapa de correção ou ajuste com RL e um exemplo (Recap, RL Token ou lerobot-rollout com dagger).
E3 · Onde entra o world model
10 minEm uma frase, diga como um World Action Model poderia ajudar antes da primeira rodada no robô.
Pronto quando: a frase fala em prever o resultado em vídeo antes de agir (ou em usar vídeo de humanos e de outros robôs no treino).
06Teste o que aprendeu
A explicação aparece depois da sua resposta.
Pergunta 1 de 4
Qual é o limite principal da imitação pura?competência
Correto
A política copia o que viu. Caso novo (a xícara virada) não está nos dados. RL e correção humana tratam justamente esse buraco.Não é essa
A política copia o que viu. Caso novo (a xícara virada) não está nos dados. RL e correção humana tratam justamente esse buraco.Rever: O ciclo imitar → rodar → falhar → corrigirPergunta 2 de 4
O que o RL Token da PI (mar/2026) permite?
Correto
O VLA grande fica como está; um ator-crítico pequeno aprende sobre o RL token com poucas horas ou minutos de dados.Não é essa
O VLA grande fica como está; um ator-crítico pequeno aprende sobre o RL token com poucas horas ou minutos de dados.Rever: Os exemplos de 2026Pergunta 3 de 4
O que define um World Action Model como o DreamZero?
Correto
WAM prevê o futuro em vídeo e a ação ao mesmo tempo. O DreamZero tem 14B e controla a 7 Hz.Não é essa
WAM prevê o futuro em vídeo e a ação ao mesmo tempo. O DreamZero tem 14B e controla a 7 Hz.Rever: A linha da fronteiraPergunta 4 de 4
Em out/2026, qual é o estado do GR00T N2?
Correto
A NVIDIA mostrou uma prévia em 16/03/2026 e diz que ele lidera alguns rankings, mas até out/2026 nenhum lançamento foi encontrado. Anúncio não é produto.Não é essa
A NVIDIA mostrou uma prévia em 16/03/2026 e diz que ele lidera alguns rankings, mas até out/2026 nenhum lançamento foi encontrado. Anúncio não é produto.Rever: Os exemplos de 2026Teste concluído
Você acertou {a} de {n}. Acertando todas, a aula é marcada como concluída.Escolha uma alternativa. A explicação aparece depois da sua tentativa.
07Resumo
Imitar e depois corrigirRL e correção humana tratam o que as demonstrações não cobriram.
Prever o futuroWorld Action Models preveem vídeo e ação juntos: DreamZero, GR00T N2 (anunciado), Cosmos 3 como base.
LembrarMemória (MEM) segura tarefas de mais de 10 minutos.