VLA: robôs que veem, entendem e agem|INEMA.CLUB-PRO

Aula 1 · 14 min

De LLM a robô que age

Um chatbot devolve texto. Um robô precisa devolver movimento, dezenas de vezes por segundo, olhando uma câmera. Esta aula separa as quatro famílias de modelo que você vai ouvir no curso e mostra o que mudou entre 2023 e outubro de 2026.

Começar a aula
Laboratório de robótica com uma estação de dois braços e um humanoide ao fundo.

Nesta aula você vai

  1. 1O que entra e o que sai de cada família de modelo
  2. 2Por que um VLA devolve ação, e não texto
  3. 3O que é um World Action Model, a categoria nova de 2026
  4. 4Classificar sistemas reais com a fonte ao lado

Objetivo: distinguir LLM, VLM, VLA e World Action Model e dizer o que mudou de 2023 a out/2026.

01A escada: do texto ao movimento

Cada degrau acrescenta uma entrada ou uma saída. Clique em cada um.

Pergunta que resolve a dúvida: o que sai do modelo? Texto, ação ou vídeo + ação.

LLM e VLM respondem. VLA e WAM agem: a saída vira comando de motor.

02O que mudou de 2023 a outubro de 2026

Quatro marcos. Clique em cada etapa.

1. Dados juntos

O Open X-Embodiment (2023) juntou dezenas de datasets de laboratórios diferentes num formato só. Foi a base para treinar um modelo em vários robôs.

Em jun/2024 o OpenVLA, de 7B, foi pré-treinado em 970 mil episódios desse acervo, com pesos abertos.

A ideiaUm modelo só, treinado com dados de muitos robôs, em vez de um modelo por robô.

03A ficha de classificação

Copie a tabela para um arquivo seu e preencha na prática.

classificacao.md
| Sistema | O que entra | O que sai | Categoria | Fonte (URL) |
|---|---|---|---|---|
| OpenVLA | | | | |
| π0.5 (openpi) | | | | |
| Gemini Robotics-ER 1.6 | | | | |
| DreamZero | | | | |
| Cosmos 3 | | | | |
| SmolVLA | | | | |
Simulação: exemplo ilustrativo
  • OpenVLA: câmera + frase → ação. VLA. openvla.github.io
  • π0.5: câmera + frase + estado → ação. VLA. github.com/Physical-Intelligence/openpi
  • Gemini Robotics-ER 1.6: imagens + pergunta → raciocínio espacial, pontos, leitura de instrumentos. Modelo de raciocínio incorporado (família VLM): não move o robô sozinho. deepmind.google/blog/gemini-robotics-er-1-6/
  • DreamZero: câmera + frase → vídeo futuro + ação. WAM. arxiv.org/abs/2602.15922
  • Cosmos 3: world foundation model que une geração de mundo, raciocínio e previsão de ação; serve de base para WAM. huggingface.co/nvidia/Cosmos3-Super
  • SmolVLA: câmera + frase + estado → ação. VLA pequeno (450M). huggingface.co/blog/smolvla

04Prática: classificar seis sistemas reais

Use só fonte primária: blog oficial, paper ou model card.

E1 · Preencher a ficha

20 min

Copie a tabela, abra a fonte de cada sistema (os links estão no fim da aula) e preencha o que entra, o que sai e a categoria.

Pronto quando: as 6 linhas têm categoria e uma URL de fonte primária, e a sua resposta bate com o gabarito em pelo menos 5.

E2 · A pergunta que decide

5 min

Para o sistema em que você errou ou ficou em dúvida, escreva uma frase: o que sai dele?

Pronto quando: a frase diz texto, ação ou vídeo + ação, e isso explica a categoria.

05Teste o que aprendeu

A explicação aparece depois da sua resposta.

Pergunta 1 de 4

O que separa um VLA de um VLM?competência

06Resumo

Olhe a saídaTexto é LLM ou VLM. Ação é VLA. Vídeo futuro + ação é WAM.
2026 trouxe corpo inteiroHelix 02 e Gemini Robotics 2 controlam humanoides inteiros, não só o braço.
Aberto e fechado convivemπ0/π0.5 abertos; π0.7, Helix e Gemini Robotics 2 fechados ou só para parceiros.

Fontes desta aula

OpenVLA (projeto)openpi: π0, π0-FAST e π0.5 (GitHub)Gemini Robotics-ER 1.6 (Google DeepMind)DreamZero (arXiv 2602.15922)Cosmos 3 Super (model card)SmolVLA (blog da Hugging Face)Helix 02 (Figure)Gemini Robotics 2 (Google DeepMind)
Próxima aula