E1 · Ejecutar el ciclo
5 minEjecuta la simulación hasta el final, interrúmpela una vez a la mitad y retómala.
Listo cuando: el paso "Rodar" aparece en falhou/ y los pasos de feito/ no se rehicieron al retomar.
Clase 7 · 16 min
Más allá de la imitación: RL, world models y memoria
Imitar tiene un techo: la política solo aprende lo que la persona mostró y no sabe salir de un error que nunca vio. En 2026 tres ideas empujan ese techo: aprender de la propia experiencia (RL), predecir el futuro en video (World Action Models) y recordar lo que ya hizo (memoria).
Comenzar la lección
En esta lección vas a
- 1El ciclo imitar → ejecutar → fallar → corregir
- 2RL en el posentrenamiento: Recap y RL Token
- 3World Action Models: DreamZero, GR00T N2, Cosmos 3
- 4Memoria para tareas de más de 10 minutos
Objetivo: explicar RL después de la imitación, World Action Models y memoria larga con ejemplos de 2026.
01La línea de la frontera
Desplázate por la página: cada etapa enciende una parte.
Desplázate por la página: cada etapa de abajo enciende su parte del diagrama.
- 1/5
Imitación
Lo que hiciste en la clase 5: la política copia las acciones del dataset. Funciona, pero hereda los límites de las demostraciones.
- 2/5
RL después
Después de imitar, la política se ejecuta, se equivoca y aprende del resultado y de las correcciones humanas. Según PI, Recap más que duplicó el throughput en tareas difíciles y redujo las fallas a la mitad o más.
- 3/5
World Action Model
El modelo predice el video de lo que va a pasar junto con la acción. La apuesta es que predecir el futuro enseña física mejor que predecir solo la acción.
- 4/5
Memoria
Recordar lo que ya se hizo para no repetir ni saltarse pasos. El MEM de PI realizó tareas de más de 10 minutos, como limpiar toda la cocina.
- 5/5
La frontera completa
La imitación da el comienzo; el RL corrige con la experiencia; el World Action Model predice el futuro; la memoria sostiene las tareas largas. Los modelos de punta de 2026 combinan más de una.
02Los ejemplos de 2026
Haz clic en cada uno. Los números son los informados por las empresas.
1. Recap
RL con correcciones y políticas condicionadas a la ventaja: la política aprende qué salió mejor y qué salió peor en sus propios intentos, y con las correcciones de una persona.
Según PI, π*0.6 preparó espresso de 5:30 a 23:30, dobló 50 prendas nuevas y armó 59 cajas en una fábrica.
2. RL Token
El VLA aprende a emitir un "RL token" que resume lo que ve. Un actor-crítico pequeño entrena RL en tiempo real sobre ese token, con pocas horas o minutos de datos.
Probado en tareas de precisión como apretar un tornillo M3 con un destornillador eléctrico y encajar un cable ethernet.
3. DreamZero
World Action Model de 14B que predice video y acción juntos y controla en lazo cerrado a 7 Hz. Según el paper, generaliza más del doble que los VLAs de punta en tareas y entornos nuevos.
GR00T N2, anunciado en mar/2026 sobre esa arquitectura, estaba previsto para fines de 2026 y no tenía lanzamiento confirmado hasta oct/2026.
4. MEM y π0.7
MEM le da al VLA memoria de corto y largo plazo, evaluado sobre π0.6, en tareas de más de 10 minutos.
π0.7 (abr/2026) acepta en el prompt metadatos de calidad y velocidad e imágenes de subobjetivo, y aprende con "coaching" por lenguaje a usar aparatos que no vio. Es cerrado.
03El ciclo imitar → ejecutar → fallar → corregir
Ejecuta el ciclo. Un paso falla a propósito la primera vez: mira qué hace la corrección.
a fazer/
rodando/
feito/
falhou/
Simulación ilustrativa en el navegador: ningún robot se ejecuta de verdad. La falla es intencional, para mostrar dónde se detiene la imitación y dónde empieza la corrección.
04Registrar el ciclo
Copia el modelo y anota cada vuelta. Sin un número antes y después, no se puede decir qué paso ayudó.
ciclo.md
# Ciclo de mejora: <tarea> | Vuelta | Qué cambió | Intentos | Éxitos | Tasa | Falla más común | |---|---|---|---|---|---| | 1 | solo imitación (N demostraciones) | 20 | | | | | 2 | + correcciones humanas (dagger) | 20 | | | | | 3 | + ajuste con RL | 20 | | | | Conclusión: el paso que más redujo la falla fue ______ porque ______.
Con el brazo real: correcciones con dagger (de la documentación de LeRobot 0.6, no ejecutado aquí)
lerobot-rollout \ --strategy.type=dagger \ --policy.path=<seu usuário>/minha_politica \ --robot.type=so101_follower \ --robot.port=/dev/ttyACM0 \ --teleop.type=so101_leader \ --teleop.port=/dev/ttyACM1 \ --dataset.repo_id=<seu usuário>/correcoes_dagger \ --dataset.single_task="Pegue o bloco"
Simulación: ejemplo ilustrativo
- Compara la tasa de una vuelta a la otra con el mismo número de intentos.
- Cambia una cosa por vuelta; si cambias dos, no sabes cuál ayudó.
- El comando dagger necesita el brazo (y una cuenta en el Hub para subir el dataset); está aquí para que reconozcas el flujo.
05Práctica: ¿qué paso redujo la falla?
Usa la simulación de arriba y los ejemplos.
E2 · Explicar la falla
10 minEscribe tres líneas: por qué falló la imitación, qué paso trata la falla y qué ejemplo de 2026 hace algo parecido.
Listo cuando: las tres líneas citan la falta del caso en las demostraciones, el paso de corrección o ajuste con RL y un ejemplo (Recap, RL Token o lerobot-rollout con dagger).
E3 · Dónde entra el world model
10 minEn una frase, di cómo un World Action Model podría ayudar antes de la primera ronda en el robot.
Listo cuando: la frase habla de predecir el resultado en video antes de actuar (o de usar video de humanos y de otros robots en el entrenamiento).
06Prueba lo que aprendiste
La explicación aparece después de tu respuesta.
Pregunta 1 de 4
¿Cuál es el límite principal de la imitación pura?competencia
Correcto
La política copia lo que vio. Un caso nuevo (la taza volcada) no está en los datos. El RL y la corrección humana tratan justamente ese hueco.No es esa
La política copia lo que vio. Un caso nuevo (la taza volcada) no está en los datos. El RL y la corrección humana tratan justamente ese hueco.Repasar: El ciclo imitar → ejecutar → fallar → corregirPregunta 2 de 4
¿Qué permite el RL Token de PI (mar/2026)?
Correcto
El VLA grande queda como está; un actor-crítico pequeño aprende sobre el RL token con pocas horas o minutos de datos.No es esa
El VLA grande queda como está; un actor-crítico pequeño aprende sobre el RL token con pocas horas o minutos de datos.Repasar: Los ejemplos de 2026Pregunta 3 de 4
¿Qué define a un World Action Model como DreamZero?
Correcto
Un WAM predice el futuro en video y la acción al mismo tiempo. DreamZero tiene 14B y controla a 7 Hz.No es esa
Un WAM predice el futuro en video y la acción al mismo tiempo. DreamZero tiene 14B y controla a 7 Hz.Repasar: La línea de la fronteraPregunta 4 de 4
En oct/2026, ¿cuál es el estado de GR00T N2?
Correcto
NVIDIA mostró un adelanto el 16/03/2026 y dice que lidera algunos rankings, pero hasta oct/2026 no se encontró ningún lanzamiento. Un anuncio no es un producto.No es esa
NVIDIA mostró un adelanto el 16/03/2026 y dice que lidera algunos rankings, pero hasta oct/2026 no se encontró ningún lanzamiento. Un anuncio no es un producto.Repasar: Los ejemplos de 2026Prueba terminada
Acertaste {a} de {n}. Si aciertas todas, la clase se marca como completada.Elige una alternativa. La explicación aparece después de tu intento.
07Resumen
Imitar y luego corregirEl RL y la corrección humana tratan lo que las demostraciones no cubrieron.
Predecir el futuroLos World Action Models predicen video y acción juntos: DreamZero, GR00T N2 (anunciado), Cosmos 3 como base.
RecordarLa memoria (MEM) sostiene tareas de más de 10 minutos.