🧠 IA moderna e braço robótico
Modelos de linguagem, voz e visão no robô, do jeito seguro: o modelo escolhe, o código confere, o microcontrolador executa. Depois, um braço SO-101 que aprende tarefas vendo você demonstrar, treinado também em simulação. No fim, um robô assistente que ouve um pedido, planeja e pega um objeto.
Como ler: os três primeiros passos (teal) montam as peças: um cérebro seguro com modelo local, a voz offline e o braço SO-101 funcionando. Os dois seguintes (ciano) ensinam o braço: por demonstração e em simulação. O último, com brilho, junta tudo no assistente. Se você já domina um passo, pule para o próximo.
🦾 O que você monta nesta trilha
Um assistente que ouve "pega o cubo vermelho", entende o pedido com um modelo de linguagem local, confere a ação numa lista fechada e usa um braço SO-101 treinado por você para pegar o objeto. Pelo caminho ficam prontos: um cérebro com Ollama que só aceita ações permitidas, um pipeline de voz em português sem internet, o par líder/seguidor calibrado e uma política treinada com as suas demonstrações.
- ✓Modelos locais: sem custo por pedido
- ✓Travas em camadas e parada física
- ✓LeRobot com comandos conferidos
- ✓Simulação antes do braço real
💡 Ainda sem o braço?
Os módulos 5.1 e 5.2 rodam num PC comum, com o ESP32 da Trilha 1 ou em modo simulado. O 5.5 treina o gêmeo do SO-101 na simulação. Compre o braço quando chegar ao 5.3.
Mapa da trilha
🧠 Modelo de linguagem como cérebro
O modelo escolhe, o robô executa
🎙️ Voz local: ouvir e falar
Whisper e Piper, sem internet
🦾 Braço SO-101 e LeRobot
Calibrar e teleoperar o par
🎓 Aprender por demonstração
Você mostra, o braço repete
🧪 Simular antes do real
MuJoCo, real2sim e sim2real
🦾 Projeto: robô assistente
Voz, plano, visão e braço juntos
Conteúdo detalhado
🧠 Modelo de linguagem como cérebro
LLM, VLM e VLA no robô, a arquitetura em que o modelo só escolhe ações de uma lista fechada, o Ollama rodando local e as travas que protegem o motor.
Texto para texto, imagem com texto para descrição, e imagem com instrução para movimento: três tipos de modelo, três lugares diferentes na pilha do robô.
Evita pedir a um modelo de texto que controle motor em tempo real.
Parâmetros · inferência · token · VLA.
O modelo fica no alto nível; um validador em código confere a ação antes de ela virar comando na serial.
Modelos erram com confiança; a separação impede que o erro chegue ao motor.
Alto nível · validador · alucinação · última barreira.
Um cardápio de ações com parâmetros e limites, entregue ao modelo como JSON Schema.
Transforma uma resposta aberta num problema fechado e testável.
JSON Schema · enum · limites · tool use.
Ollama em localhost e um script Python completo que pergunta, valida e manda ao ESP32 (com modo simulado).
Funciona sem internet e sem custo por pedido; modelos na nuvem também servem com o mesmo validador.
/api/chat · format · temperature 0 · pyserial.
Tirar uma foto e perguntar ao modelo de visão local o que há na cena.
Dá contexto ao planejador, sem entregar a ele o controle do motor.
images em base64 · contexto · detector x VLM.
Quatro camadas: validador, limites repetidos no ESP32, watchdog de comando e parada física.
Qualquer modelo que você plugar depois opera dentro de uma caixa que você controla.
Camadas · watchdog · confirmação · chave na energia.
🎙️ Voz local: ouvir e falar
Pipeline de voz offline em português: Whisper para ouvir, o cérebro do 5.1 para decidir, Piper para responder, com gatilho, confirmação falada e latência medida.
Quatro estações separadas: microfone, reconhecimento de fala, cérebro e síntese de voz.
Testar cada estação sozinha mostra onde estão o erro e a demora.
STT · TTS · VAD · 16 kHz mono.
Gravar do microfone e transcrever em português com faster-whisper, em CPU ou GPU.
Se o reconhecimento erra, todo o resto erra junto.
Tamanho do modelo · int8 · language="pt" · VAD.
Apertar para falar ou "ei, robô", e onde pôr o microfone para fugir do ruído dos motores.
Um robô que obedece a qualquer frase da sala é imprevisível.
Gatilho · openWakeWord · máquina de estados · ruído.
O assistente completo em Python: ouvir, escolher, validar, confirmar por voz, executar e responder.
A voz é só outra porta de entrada; o validador continua o mesmo.
Importar módulos · confirmação falada · falha segura.
Síntese de voz leve com vozes pt_BR, que roda no Pi 5 sem GPU.
Um robô que diz o que vai fazer dá tempo de você parar o que não era para fazer.
Voz .onnx · fonema · piper-tts · saída de áudio.
Medir o tempo de cada etapa e decidir o que pode sair de casa.
Você otimiza o gargalo real e evita problema com voz de alunos em sala.
Gargalo · offline · dados de voz · autorização.
🦾 Braço SO-101 e LeRobot
O par líder/seguidor com servos Feetech STS3215: IDs, calibração, instalação do LeRobot, primeira teleoperação, câmeras e a rotina de segurança.
Braço aberto e impresso em 3D, em par, e a biblioteca da Hugging Face que vai do motor à política.
É o caminho mais curto e barato até um braço que aprende uma tarefa.
Grau de liberdade · líder/seguidor · STS3215 · política.
Achar as portas, gravar o ID de cada servo, montar e medir os limites de cada junta.
ID trocado ou calibração ruim causam quase todo braço que treme ou vai para o lado errado.
Barramento · find-port · setup-motors · calibrate.
Ambiente virtual, extra feetech, permissão na porta USB e versão anotada.
Bibliotecas de robô com IA mudam rápido; isolar e fixar a versão mantém o projeto rodando.
venv · extras · dialout · --help.
Você move o líder e o seguidor copia, num laço de dezenas de ciclos por segundo.
A política do 5.4 imita exatamente o jeito como você teleopera.
Laço de controle · posição alvo · pose inicial.
Duas câmeras fixas, luz constante, fundo simples e posições marcadas na mesa.
A câmera é o sensor principal da política; cena que muda confunde o modelo.
find-cameras · index_or_path · alcance · display_data.
Área livre, chave na fonte ao alcance da mão, base fixa e rotina antes de cada sessão.
Uma política treinada pode fazer o movimento que você não esperava.
Parada física · torque · ponto de esmagamento.
🎓 Aprender por demonstração
Gravar episódios com o par SO-101, publicar o dataset, treinar uma política ACT, avaliar no braço real e conhecer as políticas que entendem linguagem.
Em vez de programar o movimento, você mostra a tarefa várias vezes e um modelo aprende a imitar.
Tarefas como pegar objetos variados são difíceis de programar à mão e fáceis de demonstrar.
Imitação · episódio · observação · ação.
Teleoperar enquanto o LeRobot salva câmeras e posições das juntas em episódios.
A qualidade e a variedade das demonstrações decidem o resultado do treino.
Episódio · reset · variação · descrição da tarefa.
Guardar, visualizar e compartilhar os episódios gravados no formato do LeRobot.
Revisar os dados antes de treinar evita gastar GPU com demonstrações ruins.
Dataset · Hub · visualização · versão dos dados.
Treinar a política ACT, pequena e rápida, numa GPU NVIDIA ou no Colab.
É o primeiro treino que cabe no orçamento de um maker e funciona com poucas dezenas de episódios.
Política · passos de treino · checkpoint · perda.
Rodar a política treinada no seguidor com lerobot-rollout, com segurança, e contar quantas vezes ela acerta.
Taxa de sucesso medida é o único jeito honesto de dizer que o braço aprendeu.
Taxa de sucesso · tentativas · falhas típicas.
Modelos VLA que recebem a instrução em texto junto com as câmeras: o SmolVLA, pequeno, e a família pi0, mais pesada.
Uma mesma política pode fazer tarefas diferentes conforme o pedido.
VLA · ajuste fino · modelo base · custo de GPU.
🧪 Simular antes do real
Por que treinar em simulação, o gêmeo do SO-101 no MuJoCo, quando o Isaac vale a pena, a foto da mesa que vira cena e a distância entre simulado e real.
Testar e treinar num mundo virtual, onde batida não quebra nada e o tempo pode correr mais rápido.
Economiza peças, demonstrações humanas e sustos na bancada.
Simulador · física · cena · custo do erro.
O simulador aberto e leve, com um modelo do SO-101 que se move como o braço real.
Roda num notebook comum e deixa você testar antes de ter o braço.
MuJoCo · gêmeo digital · modelo MJCF · juntas.
A plataforma de simulação da NVIDIA, com gráficos realistas e muitos robôs em paralelo, que exige GPU NVIDIA forte.
Saber quando o peso compensa evita montar uma estrutura maior que o problema.
Isaac Sim · Isaac Lab · paralelismo · requisito de GPU.
Montar a cena simulada a partir de fotos da sua bancada, com os objetos nas posições reais.
Quanto mais a simulação parece a sua mesa, mais o treino vale no braço real.
Real2sim · reconstrução · cena · objeto.
O que muda quando a política sai da simulação para o braço: atrito, folga, luz, câmera.
Conhecer a lacuna ajuda a diminuí-la, em vez de culpar o modelo.
Sim2real · aleatorização de domínio · ajuste fino real.
Produzir episódios automaticamente na simulação e misturá-los com as demonstrações reais.
Reduz quantas demonstrações humanas você precisa gravar.
Dados sintéticos · mistura real + simulado · comparação.
🦾 Projeto final: robô assistente
Do escopo às regras, voz que vira plano, visão e braço que pegam o objeto, base móvel integrada, métricas de sucesso e a apresentação do projeto.
Definir o que o assistente faz, o que ele recusa e as regras de segurança antes de escrever código.
Escopo pequeno e bem definido é o que faz um projeto final funcionar no dia da apresentação.
Escopo · requisitos · lista de ações · critérios de pronto.
O pedido falado vira uma sequência curta de ações da lista fechada, conferida passo a passo.
Pedidos reais têm várias etapas; o plano precisa ser validado inteiro e executado com paradas.
Plano · sequência · validação · confirmação.
A câmera encontra o objeto pedido e a política treinada no 5.4 faz o braço pegá-lo.
É o ponto em que percepção e ação precisam concordar no mundo real.
Detecção · política · pegar e soltar · verificação.
Juntar o robô móvel das trilhas anteriores com o braço, com energia, peso e comunicação resolvidos.
Integrar sistemas que funcionam sozinhos é onde aparecem os problemas de verdade.
Integração · centro de massa · energia separada · estados.
Roteiro de testes repetidos, taxa de sucesso por etapa e registro das falhas.
Números mostram o que melhorar e protegem você do vídeo que só deu certo uma vez.
Taxa de sucesso · tempo por tarefa · log de falhas.
README, vídeo em velocidade real, dataset e código publicados para outros reproduzirem.
Projeto documentado vira portfólio e ajuda a próxima pessoa a começar.
README · demonstração honesta · licença · comunidade.
🧰 Kit da trilha
O que a trilha usa além do robô das trilhas anteriores. Faixa aproximada de R$ 1.800 a R$ 4.500 sem contar o computador (out/2026, confira antes de comprar: o braço costuma ser importado e o preço varia muito com montagem, frete e câmbio).
Par SO-101 (líder e seguidor): 12 servos Feetech STS3215, duas placas adaptadoras de servo serial, fontes e as peças impressas em 3D (você imprime ou compra o kit).
Uma ou duas câmeras USB comuns (720p ou 1080p), com suporte que não mexa: uma de frente e outra lateral ou no punho.
Microfone USB simples ou de lapela e uma caixinha de som USB ou P2.
PC com GPU NVIDIA, ou o Google Colab, para treinar políticas no 5.4. Os módulos 5.1 e 5.2 rodam num PC comum.
Raspberry Pi 5 de 8 GB; com AI HAT+ 2 (cerca de US$ 130) para LLM e VLM pequenos; ou Jetson Orin Nano Super (US$ 399 desde jul/2026), mais forte e mais caro.
Chave liga-desliga em série com a fonte dos servos, grampo para fixar a base do braço na mesa e óculos de proteção.
✓ Opcional que vale a pena
Acesso a uma impressora 3D (para peças de reposição e suportes de câmera), uma segunda câmera e uma luminária fixa para a bancada.
✗ Não compre para esta trilha
Braço de servos de hobby com sinal PWM (SG90, MG996R): o LeRobot não lê a posição deles. E não pague por GPU sem CUDA esperando treinar políticas.