E1 · El nivel máximo
5 minEjecuta los cinco niveles y anota el más alto que la policy supera.
Listo cuando: python3 kit/terreno.py --degraus 0.02 0.03 0.04 0.06 0.10; echo "saída: $?" → degraus vencidos: 2/5 y saída: 0.
Clase 8 · 16 min
Currículo de terreno y tu plan de entrenamiento
Nadie entrena la marcha en escaleras el primer día: el terreno y la velocidad pedida crecen conforme la política acierta. En esta clase mides hasta qué nivel llega la política lista, lees cómo mjlab y unitree_rl_lab suben de nivel, y escribes tu plan de entrenamiento en un archivo que un script revisa.
Comenzar la clase
En esta clase vas a
- 1Escalones de 2 y 3 cm pasan; de 4 cm en adelante, caída
- 2Currículo: sube quien caminó más del 80 % de lo pedido, baja quien caminó menos del 50 %
- 3Currículo de comando: el rango de velocidad se abre de 0,1 m/s en 0,1 m/s
- 4El plano-treino.md con robô, comando, recompensa, currículo y avaliação
Objetivo: medir el nivel máximo de la política lista, leer las reglas de currículo y escribir un plan de entrenamiento con 5 campos que conferir_plano.py apruebe.
01Un currículo de terreno
Haz clic en cada nivel. Cada robot sube o baja de nivel solo, según lo que caminó.
Haz clic en cada bloque del diagrama para ver qué hace.
Reglas leídas del código: mjlab mdp/curriculums.py (commit 8bb2bc9) y unitree_rl_lab velocity_env_cfg.py (commit 4960b84).
02Hasta qué nivel llega la policy lista
El terreno.py arma, con el MjSpec, una plataforma de altura h a 1,5 m del robot y lo manda a caminar 8 s a 0,5 m/s. Pasó = no cayó y la pelvis llegó arriba (x > 2,5 m).
Terminal · cinco niveles
F=${FTH:-$HOME/fth}; cd $F/locomocao && . $F/.venv/bin/activate
python3 kit/terreno.py --degraus 0.02 0.03 0.04 0.06 0.10; echo "saída: $?"Ejemplo del repositorio
política: unitree_rl_lab velocity v0 (ONNX) · comando vx = 0.5 m/s · 8 s · degrau a 1.5 m degrau 2 cm: passou (pelve em x = 3.4 m) degrau 3 cm: passou (pelve em x = 4.1 m) degrau 4 cm: caiu (pelve em x = 2.0 m) degrau 6 cm: caiu (pelve em x = 2.0 m) degrau 10 cm: caiu (pelve em x = 2.2 m) degraus vencidos: 2/5 saída: 0
Los de 2 y 3 cm pasan; desde 4 cm en adelante, el robot cae en x ≈ 2 m, antes de subir a la plataforma. Los niveles que reprueban son los próximos niveles de un currículo: es para ellos que se vuelve a entrenar.
03Cómo suben de nivel los repositorios
Dos currículos corren juntos en el entrenamiento real. Haz clic en cada uno.
1. Terreno
En mjlab, al final de cada episodio, el robot que caminó más del 80 % de la distancia pedida sube un nivel de terreno; el que caminó menos del 50 % baja. Cada robot tiene su nivel: en el mismo entrenamiento, unos están en el plano y otros en los guijarros.
2. Comando
En unitree_rl_lab, la velocidad pedida empieza en ±0,1 m/s. Cuando el seguimiento de velocidad pasa del 80 % del máximo, el rango se abre 0,1 m/s hacia cada lado, hasta el límite de −0,5 a 1,0 m/s.
3. Empujón
El empujón no entra en el currículo en esos dos repositorios: ±0,5 m/s en x e y, cada 5 s en unitree_rl_lab; en mjlab, cada 1 a 3 s, con ±0,4 m/s también en z y giros en roll, pitch y yaw.
4. Plano
Antes de gastar GPU: qué robot, qué rango de comando, qué términos y pesos, qué niveles de terreno y qué prueba aprueba. Es el archivo que escribes ahora.
04Tu plan de entrenamiento
Copia la plantilla a ~/fth/treino, cambia cada [corchete] por tu valor y compruébalo. El ejemplo del kit muestra un plan que pasa.
Archivo · kit/plano-treino-modelo.md
# Plano de treino de locomoção Robô: [qual humanoide e qual arquivo, ex.: Unitree G1 29 GDL, unitree_g1/scene.xml do Menagerie 62ab00f] Comando: [faixa de velocidade, ex.: vx de -0.5 a 1.0 m/s, vy de -0.3 a 0.3 m/s, giro de -0.2 a 0.2 rad/s] Recompensa: [termos e pesos, ex.: track_linear_velocity 2.0, upright 1.0, action_rate_l2 -0.1] Currículo: [níveis em ordem, separados por →, ex.: plano → degrau de 5 cm → rampa → pedriscos] Avaliação: [critério de aprovação com número, ex.: 18/20 episódios de pé com empurrão de 1.0 m/s]
Terminal · copiar y comprobar
F=${FTH:-$HOME/fth}; cd $F/locomocao && . $F/.venv/bin/activate
[ -f $F/treino/plano-treino.md ] || cp kit/plano-treino-modelo.md $F/treino/plano-treino.md
python3 kit/conferir_plano.py $F/treino/plano-treino.md; echo "saída: $?"Terminal · el ejemplo del kit
F=${FTH:-$HOME/fth}; cd $F/locomocao && . $F/.venv/bin/activate
python3 kit/conferir_plano.py kit/exemplos/plano-treino.md; echo "saída: $?"Ejemplo del repositorio
FALTA Robô: não preenchido FALTA Comando: não preenchido FALTA Recompensa: não preenchido FALTA Currículo: não preenchido FALTA Avaliação: não preenchido campos ok: 0/5 incompleto saída: 1
Con la plantilla aún llena de [corchetes], faltan los cinco campos y el script sale con 1. Reglas: comando con número y m/s, recompensa con 2 o más términos del kit, currículo con 3 o más niveles separados por →, evaluación con un criterio numérico (X/N o %).
campos ok: 5/5 ok saída: 0
El ejemplo del kit (kit/exemplos/plano-treino.md) usa los rangos de comando de unitree_rl_lab y el criterio de 18/20 de la clase 7.
05Lo que montaste en este curso
Cuatro entregas. Haz clic en cada una para ver el "listo cuando".
Al final del cursoPolicy ejecutada, recompensa medida, entrenamiento leído, prueba y plan escritos.
8 clasesHaz clic en un ejercicio para ver qué hacer y el "listo cuando".
- 1/5
Policy
La policy lista caminando en MuJoCo y el PD de articulación medido, con las ganancias de la policy entendidas.
- 2/5
Entorno
Las cuatro piezas del entorno y la recompensa medida término a término, con el peso que cambia el juego.
- 3/5
Entrenamiento
Un entrenamiento PPO en CPU con checkpoint y las curvas leídas, con la recompensa hackeada (reward hacking) reconocida.
- 4/5
Prueba
La policy evaluada con empujón y nivel, y tu plan de entrenamiento revisado.
- 5/5
El curso completo
Cuatro entregas en secuencia. El curso 2 lleva la policy de este curso del simulador al suelo.
El orden importa: el plan de la clase 8 usa la recompensa de la clase 4 y la prueba de la clase 7.
06Genera tu plan de estudio con fechas
Elige la fecha de inicio y cuánto tiempo tienes por semana. El plan lista las prácticas de cada clase.
plano.md
07Práctica
Medir el límite y planear el próximo entrenamiento.
E2 · El plan reprobado
2 minCopia el modelo y revísalo antes de completarlo, para ver cómo el script lo reprueba.
Listo cuando: la salida muestra campos ok: 0/5, incompleto y saída: 1.
E3 · Tu plan
20 minCompleta el ~/fth/treino/plano-treino.md con tus elecciones: un currículo que empiece en el plano y pase por los niveles que reprobaron en E1, y una evaluación con número.
Listo cuando: python3 kit/conferir_plano.py $F/treino/plano-treino.md; echo "saída: $?" → campos ok: 5/5, ok y saída: 0.
08Prueba de la clase
La explicación aparece después de tu respuesta.
Pregunta 1 de 3
En el currículo de terreno de mjlab, ¿cuándo sube de nivel un robot?competencia
Correcto
El nivel es por robot y se decide por lo que hizo. Quien avanza menos del 50 % de lo pedido baja: el currículo se ajusta solo.No es esa
El nivel es por robot y se decide por lo que hizo. Quien avanza menos del 50 % de lo pedido baja: el currículo se ajusta solo.Repasar: Cómo suben de nivel los repositoriosPregunta 2 de 3
La política lista supera 3 cm y cae en 4 cm. En un plan de entrenamiento, ¿qué hacer con eso?
Correcto
La prueba de terreno muestra dónde se detiene la política; el currículo es el camino para pasar de ahí. Cambiar las ganancias invalida la política (clase 2).No es esa
La prueba de terreno muestra dónde se detiene la política; el currículo es el camino para pasar de ahí. Cambiar las ganancias invalida la política (clase 2).Repasar: Hasta qué nivel llega la policy listaPregunta 3 de 3
¿Por qué unitree_rl_lab empieza pidiendo solo ±0,1 m/s?
Correcto
Es un currículo de comando: empieza donde la política puede acertar y abre 0,1 m/s cada vez hasta −0,5 a 1,0 m/s.No es esa
Es un currículo de comando: empieza donde la política puede acertar y abre 0,1 m/s cada vez hasta −0,5 a 1,0 m/s.Repasar: Cómo suben de nivel los repositoriosPrueba concluida
Acertaste {a} de {n}. Si aciertas todas, la clase se marca como concluida.Elige una alternativa. La explicación aparece después de tu intento.
09En tres frases
LímiteLa política lista supera escalones de 2 y 3 cm y cae a partir de 4 cm.
CurrículoEl terreno sube con el 80 % de la distancia y baja con menos del 50 %; el comando abre 0,1 m/s cada vez.
PlanoRobot, comando, recompensa, currículo y evaluación escritos y revisados antes de entrenar.