Clase 7 · 14 min
Hasta aquí el camino fue del simulador al robot. El camino inverso también existe: fotografiar el lugar real y montar un gemelo digital donde el robot entrena y se prueba antes. En esta clase corres el gemelo del proyecto robotica-real2sim (un brazo, no un humanoide) en el venv del curso, pruebas un plan en la física y ves dónde está esto para humanoides en 2026.
Empezar la clase
Objetivo: correr el gemelo de robotica-real2sim en el venv del curso y probar un plan en la física antes del robot, contando los objetos de la escena.
Haz clic en cada bloque. Es el flujo de robotica-real2sim.
Real-to-sim es el tema de robotica-real2sim. Aquí se ejecuta y se conecta con la escalera de despliegue: un gemelo del lugar es un nivel más antes del suelo.
Estado en oct/2026, según la investigación de la formación. Haz clic en cada elemento.
Niantic Spatial, Flexion y NVIDIA mostraron una escena escaneada con cámara que se convierte en Gaussian splatting en Isaac Sim, con una policy de navegación de humanoide entrenada allí y llevada al robot sin ajustes. Es material de proveedor, no un paper con mediciones.
Berkeley, ETH y Amazon FAR usan 3DGS como renderizador dentro de un simulador vectorizado, con más de 100 mil pasos por segundo (arXiv 2510.15352). Tampoco hay sim-to-real medido en humanoide hasta oct/2026, según la investigación.
Lo que ya entra en el día a día es más simple: medir el piso y la fricción, pesar el robot, escanear escalones y obstáculos para el currículo de terreno (curso 1).
Un gemelo es tan bueno como la medida que lo alimenta. El proyecto real2sim midió eso: modelos de visión distintos se equivocaron en el tamaño de la bandeja, y la prueba solo aprueba lo que pasa en el peor caso.
Agrega el Panda al sparse-checkout del Menagerie del banco, fija el robotica-real2sim en el commit probado y apunta su vendor/menagerie al tuyo.
F=${FTH:-$HOME/fth}; cd $F && . .venv/bin/activate && pip install -q pillow imageio
git -C mujoco_menagerie sparse-checkout add franka_emika_panda
[ -d robotica-real2sim ] || git clone -q https://github.com/inematds/robotica-real2sim
git -C robotica-real2sim checkout -q 3a08537 && mkdir -p robotica-real2sim/vendor
ln -sfn $F/mujoco_menagerie robotica-real2sim/vendor/menagerie
cd robotica-real2sim && python3 r2s.py ver exemplos/mesa-foto/cena.json $F/gemeo.png --camera cima
python3 $F/sim2real/kit/gemeo.py exemplos/mesa-foto/cena.json $F/gemeo.pngF=${FTH:-$HOME/fth}; cd $F/robotica-real2sim && . $F/.venv/bin/activate
python3 r2s.py provar exemplos/mesa-foto/cena.json resultados/mesa-foto/plano.json -n 20 | tail -3imagem: ~/fth/gemeo.png cena: cena.json · mesa 1.2 × 0.8 m · objetos na cena: 4 cubo_vermelho caixa lata_azul cilindro bola_tenis esfera bandeja_cinza recipiente gemeo.png: 1280×720 px, 135 KB
Cuatro objetos, imagen de 1280×720 generada por la GPU (EGL), sin pantalla.
plano completo em 19/20 (95%); mínimo 90% -> APROVADO para o robô real
lata_azul -> bandeja_cinza: 20 ok
bola_tenis -> bandeja_cinza: 19 ok {'objeto caiu fora do destino': 1}19 de 20 (95 %): aprobado. El fallo se anota por su motivo, como en la compuerta (gate) de la clase 6.
^^^^^^^^^^^^^^^^ AttributeError: 'NoneType' object has no attribute 'glGetError'
r2s.py dibuja con la GPU (MUJOCO_GL=egl). Sin GPU, cambia a osmesa, pero la biblioteca OSMesa debe estar instalada; sin ella, aparece el error de arriba. Contar objetos no depende de dibujar: gemeo.py lee el cena.json.
Clip de 10 s de robotica-real2sim: un episodio con tres cámaras.
El mundo real dentro del simulador.
Ejecuta el bloque del gemelo y abre el gemeo.png.
Listo cuando: python3 ~/fth/sim2real/kit/gemeo.py exemplos/mesa-foto/cena.json ~/fth/gemeo.png (en la carpeta del robotica-real2sim) → objetos na cena: 4 y gemeo.png: 1280×720 px.
Prueba el plan de ejemplo en 20 variaciones.
Listo cuando: python3 r2s.py provar … -n 20 | tail -3 → plano completo em 19/20 (95%); mínimo 90% -> APROVADO para o robô real.
Para un G1 que va a caminar por un pasillo de fábrica, enumera tres medidas del lugar real que llevarías al simulador antes de la escalera de la clase 8.
Listo cuando: tres ítems con qué medir y con qué instrumento (p. ej.: fricción del piso con plano inclinado; altura del escalón con cinta métrica).
La explicación aparece después de tu respuesta.
Pregunta 1 de 3
¿Qué hace el real-to-sim que el sim-to-real no hace?competencia
Pregunta 2 de 3
En oct/2026, el real-to-sim con Gaussian splatting para humanoides es:
Pregunta 3 de 3
Sin GPU, r2s.py ver da error de OpenGL. ¿Cómo seguir?
Elige una alternativa. La explicación aparece después de tu intento.