🌐 World Models y simulación predictiva
Robots que imaginan el futuro antes de actuar: modelos generativos como motor de predicción. De JEPA a Dreamer: aprende cómo los agentes simulan las consecuencias en su mente antes de interactuar con el mundo real.
Bucle de simulación predictiva: el robot imagina múltiples rollouts en el World Model y ejecuta solo la acción con la mayor recompensa estimada.
🧠 Qué son los World Models
Los modelos del mundo son representaciones internas que un agente construye del entorno: una especie de «mapa mental del futuro». En vez de actuar por ensayo y error en el mundo real, el robot simula escenarios mentalmente y elige la mejor trayectoria antes de mover un solo servomotor.
🔮 Definición central
Un World Model es una función f(s_t, a_t) → s_{t+1} que, dado el estado actual y una acción propuesta, predice el siguiente estado. Encadenada k veces, genera un rollout de k pasos en el futuro: el «sueño» del robot.
El mundo se comprime en un espacio latente de baja dimensión, donde es más fácil aprender la dinámica que en el espacio de píxeles sin procesar.
Componente que predice el siguiente estado. Puede ser determinista o estocástico (modela la incertidumbre como una distribución sobre futuros posibles).
Joint Embedding Predictive Architecture (LeCun): predice representaciones de estados futuros en el espacio de características, sin reconstruir píxeles — más eficiente y robusto.
Simular N trayectorias candidatas, evaluar cada una con una función de recompensa y ejecutar solo la acción de la trayectoria ganadora.
💡 Por qué Yann LeCun apuesta por esto
LeCun argumenta que los World Models son la pieza que falta para alcanzar una inteligencia de nivel humano: los humanos pasan la mayor parte del tiempo "imaginando", no actuando. JEPA es su propuesta para entrenar estos modelos sin colapso representacional.
🎬 Modelos generativos de video: Sora, UniSim, Genie2
Modelos como Sora (OpenAI), UniSim (Google) y Genie2 (DeepMind) generan videos realistas del futuro condicionados por acciones. En robótica, funcionan como world models visuales: dado el frame actual y una acción propuesta, generan los frames siguientes que muestran el resultado probable.
✓ Ventajas de los Video World Models
- ✓ Generan simulaciones fotorrealistas de entornos nunca vistos
- ✓ Permiten entrenar políticas sin un simulador tradicional (Isaac Sim, MuJoCo)
- ✓ Escalan con datos de video de Internet: hay billones de frames disponibles
- ✓ Capturan la física implícita: los objetos caen, los líquidos fluyen, las sombras se proyectan
✗ Limitaciones actuales
- ✗ No garantizan una consistencia física rigurosa (los objetos pueden teletransportarse)
- ✗ La generación es demasiado lenta para la planificación online en tiempo real
- ✗ Los errores de contenido se acumulan en rollouts largos (>2–3 segundos)
- ✗ Difícil de condicionar en acciones en el espacio de torques/ángulos de articulación
🎯 La apuesta a largo plazo
Si los video world models alcanzan suficiente fidelidad física, reemplazan Isaac Sim y MuJoCo — simuladores tradicionales que requieren modelar la física manualmente. El entrenamiento de robots se vuelve tan escalable como el entrenamiento de LLM con texto de la web.
🔀 Predicción de consecuencias: "¿Y si hago X?"
El robot evalúa múltiples acciones candidatas simulando sus consecuencias en el world model. Para cada acción, genera una trayectoria de estados futuros y calcula una función de recompensa sobre el resultado previsto. Luego ejecuta en el mundo real la acción con el mejor resultado estimado.
Action Sampling
Muestrear N acciones candidatas del espacio de acciones. Puede ser mediante CEM (Cross-Entropy Method), MPPI o simplemente ruido gaussiano sobre la acción actual.
Despliegue paralelo
Cada acción candidata se expande k pasos en el World Model en paralelo en la GPU. Produce N trayectorias de estados futuros simultáneamente.
Predicción de recompensas
Una función de recompensa evalúa cada trayectoria. Puede ser una red neuronal separada, la distancia a un goal state o una función de costo de ingeniería.
Ejecución del ganador
Se ejecuta la acción de la trayectoria con la mayor recompensa acumulada. Luego, el ciclo comienza de nuevo con la nueva observación: es el Model Predictive Control (MPC).
⚡ Por qué esto importa
Este mecanismo de "anticipación" es lo que distingue a los robots reactivos de los verdaderamente inteligentes. Permite evitar acciones irreversibles —como dejar caer un objeto frágil— al predecir la consecuencia antes de ejecutarlas. El costo: latencia de planificación.
💭 Planificación mediante imaginación (model-based RL)
El aprendizaje por refuerzo basado en modelos entrena una política usando experiencias generadas por el world model en lugar de interacciones reales. Algoritmos como Dreamer y TD-MPC aprenden en el «sueño» del modelo y luego transfieren el comportamiento al robot físico, lo que reduce el costo y el riesgo del entrenamiento en órdenes de magnitud.
✓ Algoritmos consolidados
- ✓DreamerV3 — Aprende en la imaginación, funciona en más de 150 tareas sin ajustes
- ✓TD-MPC2 — combina MPC con aprendizaje TD; estado del arte en robótica continua
- ✓MBPO — optimización de políticas con rollouts cortos en el modelo (Janner et al.)
✗ Errores comunes
- ✗Rollouts demasiado largos: se acumulan los errores del modelo (model bias)
- ✗La política optimiza el modelo, no el mundo real (explotación del error del modelo)
- ✗Modelo demasiado simple — no captura la multimodalidad del entorno real
🏭 Entrenamiento con datos sintéticos del world model
Además de la planificación en línea, los world models pueden generar datasets sintéticos masivos para preentrenar políticas. El modelo genera millones de trayectorias plausibles con variaciones de objetos, iluminación y configuraciones —datos imposibles de recopilar manualmente a gran escala.
📊 El cuello de botella de datos de la robótica
Los LLM escalaron porque el texto de internet proporcionó billones de tokens. La robótica no tiene ese lujo: los datos de trayectorias reales son caros (~$10–100/hora de recopilación) y escasos. Los modelos del mundo son la propuesta para cerrar esa brecha.
Generar datos con iluminación, texturas y posiciones aleatorizadas: el world model hace esto con costo marginal cero frente a mover objetos reales.
Trade-off fundamental: los datos más fieles a la física real son más útiles, pero limitar la fidelidad permite generar una mayor diversidad de escenarios.
Los investigadores analizan si el rendimiento de las políticas robóticas escala de forma predecible con el volumen de datos sintéticos, de manera análoga a la ley de escalamiento de los LLM.
Modelo del mundo como aumentador: genera variaciones de trayectorias reales con perturbaciones de estado; enriquece el dataset sin recolección adicional.
🔑 La apuesta clave
Si los world models se convierten en simuladores de física confiables, el «data bottleneck» de la robótica deja de existir. Empresas como 1X Technologies y Physical Intelligence ya usan este enfoque para escalar la recopilación de datos de forma sintética.
⚠️ Limitaciones: cuando el modelo se equivoca en la predicción
Los modelos del mundo no son perfectos: los errores de predicción se acumulan a lo largo del horizonte temporal (error acumulativo), los objetos deformables son difíciles de modelar y las interacciones complejas entre varios cuerpos suelen desviarse de la realidad. Confiar ciegamente en un modelo del mundo es tan peligroso como no tener uno.
✗ Modos de falla del World Model
- ✗Error acumulativo — los pequeños errores por paso se suman: después de 50 pasos, el estado previsto puede ser completamente irreal
- ✗Objetos deformables — tejido, líquidos, masa blanda: física intratable para las redes neuronales actuales
- ✗Interacciones nuevas — fuera de distribución: el modelo extrapola mal a situaciones no vistas durante el entrenamiento
- ✗Contactos precisos — encajar una pieza, apretar un tornillo: la física del contacto de alta precisión es fundamental
✓ Estrategias de mitigación
- ✓Horizonte corto — limitar los rollouts a 5–15 pasos reduce la acumulación de errores
- ✓Estimación de incertidumbre — medir la incertidumbre del modelo y dejar de imaginar cuando sea alta
- ✓Ensamble de modelos — usar el desacuerdo entre modelos como proxy de incertidumbre
- ✓Real → Simulado alternado — volver a observar el mundo real con regularidad para corregir la deriva
🚨 La paradoja de la confianza
Un robot que confía demasiado en el world model ejecuta planes fantasiosos que fallan en el mundo real. Un robot que desconfía demasiado nunca actúa. El equilibrio — saber cuando imaginar y cuando observar: es un problema abierto de calibración de incertidumbre.
✅ Resumen del módulo
Siguiente módulo
3.3 — Robótica basada en datos: Open X-Embodiment y conjuntos de datos masivos