E1 · Gêmeo desenhado
5 minRode o bloco do gêmeo e abra o gemeo.png.
Pronto quando: python3 ~/fth/sim2real/kit/gemeo.py exemplos/mesa-foto/cena.json ~/fth/gemeo.png (na pasta do robotica-real2sim) → objetos na cena: 4 e gemeo.png: 1280×720 px.
Aula 7 · 14 min
Real-to-sim: trazer o mundo real para o simulador
Até aqui o caminho foi do simulador para o robô. O caminho inverso também existe: fotografar o lugar real e montar um gêmeo onde o robô treina e é testado antes. Nesta aula você roda o gêmeo do projeto robotica-real2sim (braço, não humanoide) no venv do curso e prova um plano na física, e vê onde isso está para humanoides em 2026.
Começar a aula
Nesta aula você vai
- 1O fluxo foto → cena → gêmeo → episódios → prova
- 2O gêmeo do robotica-real2sim rodando com o Menagerie da sua bancada
- 3Um plano aprovado em 19 de 20 variações na física
- 4Real-to-sim para humanoide em 2026: demo de fornecedor, relatada
Objetivo: rodar o gêmeo do robotica-real2sim no venv do curso e provar um plano na física antes do robô, contando os objetos da cena.
01Do lugar real ao gêmeo
Clique em cada bloco. É o fluxo do robotica-real2sim.
Clique em cada bloco do diagrama para ver o que ele faz.
Real-to-sim é o assunto do robotica-real2sim. Aqui ele roda e é ligado à escada: um gêmeo do lugar é mais um degrau antes do chão.
02E para humanoides?
Estado em out/2026, segundo a pesquisa da formação. Clique em cada item.
1. Gaussian splatting
A Niantic Spatial, a Flexion e a NVIDIA mostraram uma cena escaneada por câmera virando Gaussian splatting no Isaac Sim, com uma política de navegação de humanoide treinada lá e levada ao robô sem ajuste. É material de fornecedor, não paper com medição.
2. GaussGym
Berkeley, ETH e Amazon FAR usam 3DGS como renderizador dentro de um simulador vetorizado, com 100 mil+ passos por segundo (arXiv 2510.15352). Também sem sim-to-real medido em humanoide até out/2026, segundo a pesquisa.
3. O que já é rotina
O que já entra no dia a dia é mais simples: medir o piso e o atrito, pesar o robô, escanear degraus e obstáculos para o currículo de terreno (curso 1).
4. Para você
Gêmeo é tão bom quanto a medida que o alimenta. O projeto real2sim mediu isso: modelos de visão diferentes erraram o tamanho da bandeja, e a prova só aprova o que passa no pior caso.
03Rodar o gêmeo e a prova
Acrescenta o Panda ao sparse-checkout do Menagerie da bancada, fixa o robotica-real2sim no commit testado e aponta o vendor/menagerie dele para o seu.
Terminal · gêmeo da mesa
F=${FTH:-$HOME/fth}; cd $F && . .venv/bin/activate && pip install -q pillow imageio
git -C mujoco_menagerie sparse-checkout add franka_emika_panda
[ -d robotica-real2sim ] || git clone -q https://github.com/inematds/robotica-real2sim
git -C robotica-real2sim checkout -q 3a08537 && mkdir -p robotica-real2sim/vendor
ln -sfn $F/mujoco_menagerie robotica-real2sim/vendor/menagerie
cd robotica-real2sim && python3 r2s.py ver exemplos/mesa-foto/cena.json $F/gemeo.png --camera cima
python3 $F/sim2real/kit/gemeo.py exemplos/mesa-foto/cena.json $F/gemeo.pngTerminal · provar o plano (20 variações)
F=${FTH:-$HOME/fth}; cd $F/robotica-real2sim && . $F/.venv/bin/activate
python3 r2s.py provar exemplos/mesa-foto/cena.json resultados/mesa-foto/plano.json -n 20 | tail -3Exemplo do repositório
imagem: ~/fth/gemeo.png cena: cena.json · mesa 1.2 × 0.8 m · objetos na cena: 4 cubo_vermelho caixa lata_azul cilindro bola_tenis esfera bandeja_cinza recipiente gemeo.png: 1280×720 px, 135 KB
Quatro objetos, imagem de 1280×720 gerada pela GPU (EGL), sem tela.
plano completo em 19/20 (95%); mínimo 90% -> APROVADO para o robô real
lata_azul -> bandeja_cinza: 20 ok
bola_tenis -> bandeja_cinza: 19 ok {'objeto caiu fora do destino': 1}19 de 20 (95 %): aprovado. A falha é anotada pelo motivo, como no portão da aula 6.
^^^^^^^^^^^^^^^^ AttributeError: 'NoneType' object has no attribute 'glGetError'
O r2s.py desenha pela GPU (MUJOCO_GL=egl). Sem GPU, troque para osmesa, mas a biblioteca OSMesa tem de estar instalada; sem ela, o erro acima. Contar objetos não depende de desenhar: o gemeo.py lê o cena.json.
04O gêmeo em movimento
Clipe de 10 s do robotica-real2sim: um episódio com três câmeras.
Gêmeo MuJoCo da mesa: o braço pega o cubo (clipe do robotica-real2sim) · 0:10Página do vídeo com roteiro →
05Prática
O mundo real dentro do simulador.
E2 · Plano provado
3 minProve o plano de exemplo em 20 variações.
Pronto quando: python3 r2s.py provar … -n 20 | tail -3 → plano completo em 19/20 (95%); mínimo 90% -> APROVADO para o robô real.
E3 · O que você escanearia
10 minPara um G1 que vai andar num corredor de fábrica, liste três medidas do lugar real que você levaria para o simulador antes da escada da aula 8.
Pronto quando: três itens com o que medir e com que instrumento (ex.: atrito do piso com plano inclinado; altura do degrau com trena).
06Teste da aula
A explicação aparece depois da sua resposta.
Pergunta 1 de 3
O que o real-to-sim faz que o sim-to-real não faz?competência
Correto
É o caminho inverso: medir o mundo e montar o gêmeo. Depois, o caminho de volta (sim-to-real) continua com randomização, portão e escada.Não é essa
É o caminho inverso: medir o mundo e montar o gêmeo. Depois, o caminho de volta (sim-to-real) continua com randomização, portão e escada.Rever: Do lugar real ao gêmeoPergunta 2 de 3
Em out/2026, real-to-sim com Gaussian splatting para humanoide é:
Correto
A pesquisa da formação achou demos (Niantic/Flexion/NVIDIA) e o GaussGym, mas nenhuma medição de sim-to-real de humanoide publicada. Dito como relatado.Não é essa
A pesquisa da formação achou demos (Niantic/Flexion/NVIDIA) e o GaussGym, mas nenhuma medição de sim-to-real de humanoide publicada. Dito como relatado.Rever: E para humanoides?Pergunta 3 de 3
Sem GPU, o r2s.py ver dá erro de OpenGL. Como seguir?
Correto
O desenho é só a imagem. Com OSMesa ele roda na CPU; a contagem de objetos e a prova na física nem precisam de desenho.Não é essa
O desenho é só a imagem. Com OSMesa ele roda na CPU; a contagem de objetos e a prova na física nem precisam de desenho.Rever: Rodar o gêmeo e a provaTeste concluído
Você acertou {a} de {n}. Acertando todas, a aula é marcada como concluída.Escolha uma alternativa. A explicação aparece depois da sua tentativa.
07Em três frases
FluxoFoto, cena, gêmeo e prova na física antes do robô.
MedidaO plano de exemplo passa em 19 de 20 variações.
HumanoideGêmeo por splatting para humanoide ainda é demo de fornecedor (relatado); medir o lugar já é rotina.