Clase 3 · 16 min
Antes de entrenar, el problema tiene que convertirse en un entorno: qué ve la policy, qué envía, cuánto gana y cuándo termina el episodio. En esta clase lees las cuatro partes en el formato "manager-based" de Isaac Lab y mjlab, en una versión mínima en MuJoCo puro, y ejecutas un episodio con tres policies distintas.
Comenzar la clase
Objetivo: leer las partes de un entorno de locomoción y ejecutar un episodio con tres acciones diferentes.
Haz clic en cada bloque. En Isaac Lab y mjlab, cada uno es una lista de términos con nombre y peso.
mjlab e Isaac Lab tienen además eventos (empujón, randomización) y currículo, que entran en las clases 7 y 8.
checar_ambiente.py imprime las cuatro partes y corre un episodio. La acción aleatoria es lo que hace una policy recién creada, antes de cualquier entrenamiento.
F=${FTH:-$HOME/fth}; cd $F/locomocao && . $F/.venv/bin/activate
python3 kit/checar_ambiente.py --acao aleatoria; echo "saída: $?"observação: 96 números = (base_ang_vel 3 + projected_gravity 3 + velocity_commands 3 + joint_pos_rel 29 + joint_vel_rel 29 + last_action 29) × histórico 1 ação: 29 números → alvo de cada junta = pose padrão + 0.25 × ação, a cada 20 ms recompensa: track_linear_velocity (+2), track_angular_velocity (+2), upright (+1), pose (+1), dof_pos_limits (-1), action_rate_l2 (-0.1), foot_slip (-0.1) terminações: queda (pelve inclinada > 70° ou abaixo de 0.3 m) · tempo (1000 passos = 20 s) comando sorteado: vx = -0.48 m/s · vy = +0.19 m/s · giro = +0.17 rad/s ação aleatoria: 67 passos · recompensa somada: -5.44 episódio terminou por: queda em t = 1.34 s saída: 0
96 números de observación, 29 de acción, 7 términos de reward y dos terminaciones. Con acción aleatoria, caída en 1,34 s y reward negativo: los castigos (límites, temblor) pesaron más que los premios.
Misma semilla, mismo comando sorteado. Solo cambia quién decide la acción.
F=${FTH:-$HOME/fth}; cd $F/locomocao && . $F/.venv/bin/activate
for x in zero pronta; do python3 kit/checar_ambiente.py --acao $x | tail -2; doneação zero: 70 passos · recompensa somada: 3.78 episódio terminou por: queda em t = 1.40 s ação pronta: 1000 passos · recompensa somada: 108.61 episódio terminou por: tempo em t = 20.00 s
La acción cero también cae (1,40 s), pero con reward positivo: se mantuvo un poco erguido y cerca de la pose por defecto antes de caer. La policy lista llega al corte de tiempo (1.000 pasos) con 108,61 de reward. El episodio que termina por tempo es el que el entrenamiento quiere.
Cómo aparecen las piezas en el archivo de configuración de la tarea de velocidad de mjlab (commit 8bb2bc9, 18/10/2026). No se ejecuta aquí: requiere GPU NVIDIA.
En velocity_env_cfg.py, las observaciones, acciones, comandos, rewards, terminaciones, eventos y currículo son diccionarios de términos (ObservationTermCfg, RewardTermCfg, TerminationTermCfg…), cada uno con nombre, función y parámetros.
time_out y fell_over con limit_angle de 70°; episodio de 20 s. El kit copia esos valores.
La tarea base es genérica; la carpeta config/g1 sobrescribe lo que es del G1 (escala de la acción, pesos). En unitree_rl_lab, el equivalente está en tasks/locomotion/robots/g1/29dof/velocity_env_cfg.py, con 4.096 entornos.
Saber exactamente qué entra y qué sale de la policy.
Corre checar_ambiente.py con acción aleatoria y comprueba la cuenta 3 + 3 + 3 + 29 + 29 + 29.
Listo cuando: python3 kit/checar_ambiente.py --acao aleatoria; echo "saída: $?" → observação: 96 números y episódio terminou por: queda em t = 1.34 s.
Corre cero × lista y anota por qué terminó cada episodio.
Listo cuando: la salida muestra episódio terminou por: queda em t = 1.40 s (cero) y episódio terminou por: tempo em t = 20.00 s (lista).
Corre con --seed 1, 2 y 3 (acción aleatoria) y mira cómo cambia el comando. Escribe por qué la semilla fija importa para comparar dos entrenamientos.
Listo cuando: tres líneas comando sorteado: distintas, y la misma semilla repetida da la misma salida.
La explicación aparece después de tu respuesta.
Pregunta 1 de 3
¿Por qué la policy lista recibe 480 números y no 96?competencia
Pregunta 2 de 3
La acción cero cae en 1,40 s, pero el reward sumado es positivo. ¿Por qué?
Pregunta 3 de 3
¿Cuál es la diferencia entre terminar por "queda" y por "tempo"?
Elige una alternativa. La explicación aparece después de tu intento.