Aula 3 · 16 min
Antes de treinar, o problema precisa virar um ambiente: o que a política vê, o que ela manda, quanto ganha e quando o episódio acaba. Nesta aula você lê as quatro partes no formato "manager-based" do Isaac Lab e do mjlab, numa versão mínima em MuJoCo puro, e roda um episódio com três políticas diferentes.
Começar a aula
Objetivo: ler as partes de um ambiente de locomoção e rodar um episódio com três ações diferentes.
Clique em cada bloco. No Isaac Lab e no mjlab, cada um é uma lista de termos com nome e peso.
O mjlab e o Isaac Lab têm ainda eventos (empurrão, randomização) e currículo, que entram nas aulas 7 e 8.
O checar_ambiente.py imprime as quatro partes e roda um episódio. Ação aleatória é o que uma política recém-criada, antes de qualquer treino, faz.
F=${FTH:-$HOME/fth}; cd $F/locomocao && . $F/.venv/bin/activate
python3 kit/checar_ambiente.py --acao aleatoria; echo "saída: $?"observação: 96 números = (base_ang_vel 3 + projected_gravity 3 + velocity_commands 3 + joint_pos_rel 29 + joint_vel_rel 29 + last_action 29) × histórico 1 ação: 29 números → alvo de cada junta = pose padrão + 0.25 × ação, a cada 20 ms recompensa: track_linear_velocity (+2), track_angular_velocity (+2), upright (+1), pose (+1), dof_pos_limits (-1), action_rate_l2 (-0.1), foot_slip (-0.1) terminações: queda (pelve inclinada > 70° ou abaixo de 0.3 m) · tempo (1000 passos = 20 s) comando sorteado: vx = -0.48 m/s · vy = +0.19 m/s · giro = +0.17 rad/s ação aleatoria: 67 passos · recompensa somada: -5.44 episódio terminou por: queda em t = 1.34 s saída: 0
96 números de observação, 29 de ação, 7 termos de recompensa e duas terminações. Com ação aleatória, queda em 1,34 s e recompensa negativa: as punições (limites, tremor) pesaram mais que os prêmios.
Mesma semente, mesmo comando sorteado. Muda só quem decide a ação.
F=${FTH:-$HOME/fth}; cd $F/locomocao && . $F/.venv/bin/activate
for x in zero pronta; do python3 kit/checar_ambiente.py --acao $x | tail -2; doneação zero: 70 passos · recompensa somada: 3.78 episódio terminou por: queda em t = 1.40 s ação pronta: 1000 passos · recompensa somada: 108.61 episódio terminou por: tempo em t = 20.00 s
Ação zero também cai (1,40 s), mas com recompensa positiva: ficou um pouco ereto e perto da pose antes de cair. A política pronta chega ao corte de tempo (1.000 passos) com 108,61 de recompensa. O episódio que termina por tempo é o que o treino quer.
Como as peças aparecem no arquivo de configuração da tarefa de velocidade do mjlab (commit 8bb2bc9, 18/10/2026). Não roda aqui: pede GPU NVIDIA.
Em velocity_env_cfg.py, observações, ações, comandos, recompensas, terminações, eventos e currículo são dicionários de termos (ObservationTermCfg, RewardTermCfg, TerminationTermCfg…), cada um com nome, função e parâmetros.
time_out e fell_over com limit_angle de 70°; episódio de 20 s. O kit copia esses valores.
A tarefa base é genérica; a pasta config/g1 sobrescreve o que é do G1 (escala da ação, pesos). No unitree_rl_lab, o equivalente fica em tasks/locomotion/robots/g1/29dof/velocity_env_cfg.py, com 4.096 ambientes.
Saber exatamente o que entra e o que sai da política.
Rode o checar_ambiente.py com ação aleatória e confira a conta 3 + 3 + 3 + 29 + 29 + 29.
Pronto quando: python3 kit/checar_ambiente.py --acao aleatoria; echo "saída: $?" → observação: 96 números e episódio terminou por: queda em t = 1.34 s.
Rode zero × pronta e anote por que cada episódio terminou.
Pronto quando: a saída mostra episódio terminou por: queda em t = 1.40 s (zero) e episódio terminou por: tempo em t = 20.00 s (pronta).
Rode com --seed 1, 2 e 3 (ação aleatória) e veja o comando mudar. Escreva por que a semente fixa importa para comparar dois treinos.
Pronto quando: três linhas comando sorteado: diferentes, e a mesma semente repetida dá a mesma saída.
A explicação aparece depois da sua resposta.
Pergunta 1 de 3
Por que a política pronta recebe 480 números e não 96?competência
Pergunta 2 de 3
Ação zero cai em 1,40 s, mas a recompensa somada é positiva. Por quê?
Pergunta 3 de 3
Qual a diferença entre terminar por "queda" e por "tempo"?
Escolha uma alternativa. A explicação aparece depois da sua tentativa.