🧠 IA moderna y brazo robótico
Modelos de lenguaje, voz y visión en el robot, de forma segura: el modelo elige, el código verifica, el microcontrolador ejecuta. Después, un brazo SO-101 que aprende tareas al verte hacerlas, también entrenado en simulación. Al final, un robot asistente que escucha una solicitud, planifica y recoge un objeto.
Cómo leer: los tres primeros pasos (verde azulado) preparan las piezas: un cerebro seguro con un modelo local, la voz sin conexión y el brazo SO-101 en funcionamiento. Los dos siguientes (cian) enseñan al brazo: mediante demostración y en simulación. El último, con brillo, lo une todo en el asistente. Si ya dominas un paso, pasa al siguiente.
🦾 Lo que construirás en esta trilha
Un asistente que escucha «recoge el cubo rojo», entiende la solicitud con un modelo de lenguaje local, verifica la acción en una lista cerrada y usa un brazo SO-101 que tú entrenaste para recoger el objeto. En el proceso quedan listos: un cerebro con Ollama que solo acepta acciones permitidas, un pipeline de voz en portugués sin internet, el par líder/seguidor calibrado y una política entrenada con tus demostraciones.
- ✓Modelos locales: sin costo por solicitud
- ✓Bloqueos en capas y parada física
- ✓LeRobot con comandos verificados
- ✓Simulación antes del brazo real
💡 ¿Todavía no tienes el brazo?
Los módulos 5.1 y 5.2 funcionan en una PC común, con el ESP32 de la Trilha 1 o en modo simulado. El 5.5 entrena el gemelo del SO-101 en la simulación. Compra el brazo cuando llegues al 5.3.
Mapa de la ruta
🧠 El modelo de lenguaje como cerebro
El modelo elige, el robot ejecuta
🎙️ Voz local: escuchar y hablar
Whisper y Piper, sin internet
🦾 Brazo SO-101 y LeRobot
Calibrar y teleoperar el par
🎓 Aprender mediante demostraciones
Tú lo muestras, el brazo lo repite
🧪 Simular antes de hacerlo en la realidad
MuJoCo, real2sim y sim2real
🦾 Proyecto: robot asistente
Voz, plan, visión y brazo juntos
Contenido detallado
🧠 El modelo de lenguaje como cerebro
LLM, VLM y VLA en el robot, la arquitectura en la que el modelo solo elige acciones de una lista cerrada, Ollama ejecutándose localmente y los bloqueos que protegen el motor.
Texto a texto, imagen con texto a descripción e imagen con instrucción a movimiento: tres tipos de modelo, tres lugares distintos en la pila del robot.
Evita pedirle a un modelo de texto que controle un motor en tiempo real.
Parámetros · inferencia · token · VLA.
El modelo permanece en el nivel alto; un validador en código verifica la acción antes de que se convierta en un comando por el puerto serial.
Los modelos se equivocan con seguridad; la separación impide que el error llegue al motor.
Nivel alto · validador · alucinación · última barrera.
Un menú de acciones con parámetros y límites, entregado al modelo como JSON Schema.
Transforma una respuesta abierta en un problema cerrado y comprobable.
JSON Schema · enum · límites · tool use.
Ollama en localhost y un script Python completo que pregunta, valida y envía al ESP32 (con modo simulado).
Funciona sin internet y sin costo por solicitud; los modelos en la nube también sirven con el mismo validador.
/api/chat · format · temperature 0 · pyserial.
Tomar una foto y preguntarle al modelo de visión local qué hay en la escena.
Le da contexto al planificador, sin darle el control del motor.
images en base64 · contexto · detector x VLM.
Cuatro capas: validador, límites repetidos en el ESP32, watchdog de comando y parada física.
Cualquier modelo que conectes después opera dentro de un entorno que tú controlas.
Capas · watchdog · confirmación · interruptor de alimentación.
🎙️ Voz local: escuchar y hablar
Pipeline de voz offline en portugués: Whisper para escuchar, el cerebro del 5.1 para decidir, Piper para responder, con activador, confirmación hablada y latencia medida.
Cuatro etapas separadas: micrófono, reconocimiento de voz, cerebro y síntesis de voz.
Probar cada etapa por separado muestra dónde están el error y la demora.
STT · TTS · VAD · 16 kHz mono.
Grabar desde el micrófono y transcribir en portugués con faster-whisper, en CPU o GPU.
Si el reconocimiento falla, todo lo demás falla también.
Tamaño del modelo · int8 · language="pt" · VAD.
Presionar para hablar o decir «oye, robot», y dónde colocar el micrófono para evitar el ruido de los motores.
Un robot que obedece cualquier frase que escucha en la sala es impredecible.
Activador · openWakeWord · máquina de estados · ruido.
El asistente completo en Python: escuchar, elegir, validar, confirmar por voz, ejecutar y responder.
La voz es solo otra forma de entrada; el validador sigue siendo el mismo.
Importar módulos · confirmación hablada · falla segura.
Síntesis de voz ligera con voces pt_BR, que funciona en el Pi 5 sin GPU.
Un robot que dice lo que va a hacer te da tiempo para detenerlo si no debía hacerlo.
Voz .onnx · fonema · piper-tts · salida de audio.
Medir el tiempo de cada etapa y decidir qué puede salir de casa.
Optimizas el cuello de botella real y evitas problemas con las voces del alumnado en el aula.
Cuello de botella · offline · datos de voz · autorización.
🦾 Brazo SO-101 y LeRobot
El par líder/seguidor con servos Feetech STS3215: IDs, calibración, instalación de LeRobot, primera teleoperación, cámaras y rutina de seguridad.
Un brazo abierto e impreso en 3D, en par, y la biblioteca de Hugging Face que va del motor a la política.
Es el camino más corto y económico para tener un brazo que aprenda una tarea.
Grado de libertad · líder/seguidor · STS3215 · política.
Encontrar los puertos, guardar el ID de cada servo, montar y medir los límites de cada articulación.
Un ID intercambiado o una mala calibración causan casi todos los casos en que el brazo tiembla o se mueve hacia el lado equivocado.
Bus · find-port · setup-motors · calibrate.
Entorno virtual, extra feetech, permiso para el puerto USB y versión registrada.
Las bibliotecas de robótica con IA cambian rápido; aislar el entorno y fijar la versión mantiene el proyecto en funcionamiento.
venv · extras · dialout · --help.
Mueves el líder y el seguidor lo copia en un bucle de decenas de ciclos por segundo.
La política del 5.4 imita exactamente la forma en que teleoperas.
Bucle de control · posición objetivo · pose inicial.
Dos cámaras fijas, luz constante, fondo sencillo y posiciones marcadas en la mesa.
La cámara es el sensor principal de la política; si la escena cambia, el modelo se confunde.
find-cameras · index_or_path · alcance · display_data.
Área despejada, interruptor de la fuente al alcance de la mano, base fija y rutina antes de cada sesión.
Una política entrenada puede hacer un movimiento que no esperabas.
Parada física · torque · punto de aplastamiento.
🎓 Aprender mediante demostraciones
Grabar episodios con el par SO-101, publicar el dataset, entrenar una política ACT, evaluarla en el brazo real y conocer las políticas que entienden lenguaje.
En vez de programar el movimiento, muestras la tarea varias veces y un modelo aprende a imitarla.
Las tareas como recoger objetos variados son difíciles de programar a mano y fáciles de demostrar.
Imitación · episodio · observación · acción.
Teleoperar mientras LeRobot guarda las imágenes de las cámaras y las posiciones de las articulaciones en episodios.
La calidad y la variedad de las demostraciones determinan el resultado del entrenamiento.
Episodio · reinicio · variación · descripción de la tarea.
Guardar, visualizar y compartir los episodios grabados en el formato de LeRobot.
Revisar los datos antes de entrenar evita gastar GPU en demostraciones deficientes.
Dataset · Hub · visualización · versión de los datos.
Entrenar la política ACT, pequeña y rápida, en una GPU NVIDIA o en Colab.
Es el primer entrenamiento que cabe en el presupuesto de un maker y funciona con unas pocas decenas de episodios.
Política · pasos de entrenamiento · checkpoint · pérdida.
Ejecutar la política entrenada en el seguidor con lerobot-rollout, de forma segura, y contar cuántas veces acierta.
La tasa de éxito medida es la única forma honesta de decir que el brazo aprendió.
Tasa de éxito · intentos · fallas típicas.
Modelos VLA que reciben la instrucción en texto junto con las cámaras: SmolVLA, pequeño, y la familia pi0, más pesada.
Una misma política puede realizar tareas diferentes según la instrucción.
VLA · ajuste fino · modelo base · costo de GPU.
🧪 Simular antes de hacerlo en la realidad
Por qué entrenar en simulación, el gemelo del SO-101 en MuJoCo, cuándo vale la pena Isaac, cómo una foto de la mesa se convierte en una escena y la distancia entre lo simulado y lo real.
Probar y entrenar en un mundo virtual, donde los golpes no rompen nada y el tiempo puede avanzar más rápido.
Ahorra piezas, demostraciones humanas y sustos en la mesa de trabajo.
Simulador · física · escena · costo del error.
El simulador abierto y liviano, con un modelo del SO-101 que se mueve como el brazo real.
Funciona en una computadora portátil común y te permite probar antes de tener el brazo.
MuJoCo · gemelo digital · modelo MJCF · articulaciones.
La plataforma de simulación de NVIDIA, con gráficos realistas y muchos robots en paralelo, que requiere una GPU NVIDIA potente.
Saber cuándo el costo se justifica evita construir una infraestructura mayor que el problema.
Isaac Sim · Isaac Lab · paralelismo · requisito de GPU.
Crear la escena simulada a partir de fotos de tu mesa de trabajo, con los objetos en sus posiciones reales.
Cuanto más se parece la simulación a tu mesa, más útil será el entrenamiento para el brazo real.
Real2sim · reconstrucción · escena · objeto.
Qué cambia cuando la política pasa de la simulación al brazo: fricción, holgura, luz, cámara.
Conocer la brecha ayuda a reducirla, en vez de culpar al modelo.
Sim2real · aleatorización del dominio · ajuste fino en el mundo real.
Producir episodios automáticamente en la simulación y combinarlos con las demostraciones reales.
Reduce la cantidad de demostraciones humanas que necesitas grabar.
Datos sintéticos · combinación de datos reales y simulados · comparación.
🦾 Proyecto final: robot asistente
Desde el alcance y las reglas hasta una voz que se convierte en un plan, la visión y un brazo que recoge el objeto, una base móvil integrada, métricas de éxito y la presentación del proyecto.
Definir qué hace el asistente, qué rechaza y cuáles son las reglas de seguridad antes de escribir código.
Un alcance pequeño y bien definido es lo que hace que un proyecto final funcione el día de la presentación.
Alcance · requisitos · lista de acciones · criterios de finalización.
La solicitud hablada se convierte en una secuencia corta de acciones de una lista cerrada, revisada paso a paso.
Las solicitudes reales tienen varias etapas; el plan debe validarse por completo y ejecutarse con pausas.
Plan · secuencia · validación · confirmación.
La cámara encuentra el objeto solicitado y la política entrenada en el 5.4 hace que el brazo lo recoja.
Este es el punto en el que la percepción y la acción deben coincidir en el mundo real.
Detección · política · recoger y soltar · verificación.
Combinar el robot móvil de las trilhas anteriores con el brazo, resolviendo la alimentación, el peso y la comunicación.
Al integrar sistemas que funcionan por separado es cuando aparecen los problemas reales.
Integración · centro de masa · alimentación separada · estados.
Plan de pruebas repetidas, tasa de éxito por etapa y registro de fallas.
Los números muestran qué mejorar y te protegen del video que solo salió bien una vez.
Tasa de éxito · tiempo por tarea · registro de fallas.
README, video a velocidad real, dataset y código publicados para que otras personas puedan reproducirlo.
Un proyecto documentado se convierte en portafolio y ayuda a la siguiente persona a empezar.
README · demostración honesta · licencia · comunidad.
🧰 Kit de la trilha
Lo que usa el curso además del robot de las trilhas anteriores. Rango aproximado de R$ 1.800 a R$ 4.500 sin contar la computadora (oct./2026; verifica antes de comprar: el brazo suele ser importado y el precio varía mucho según el montaje, el envío y el tipo de cambio).
Par SO-101 (líder y seguidor): 12 servos Feetech STS3215, dos placas adaptadoras para servos seriales, fuentes de alimentación y las piezas impresas en 3D (las imprimes o compras el kit).
Una o dos cámaras USB comunes (720p o 1080p), con un soporte que no se mueva: una al frente y otra lateral o en la muñeca.
Micrófono USB sencillo o de solapa y un parlante pequeño USB o P2.
PC con GPU NVIDIA, o Google Colab, para entrenar políticas en el 5.4. Los módulos 5.1 y 5.2 funcionan en una PC común.
Raspberry Pi 5 de 8 GB; con AI HAT+ 2 (cerca de US$ 130) para LLM y VLM pequeños; o Jetson Orin Nano Super (US$ 399 desde jul/2026), más potente y más costoso.
Interruptor de encendido y apagado en serie con la fuente de alimentación de los servos, abrazadera para fijar la base del brazo a la mesa y gafas de protección.
✓ Opcional que vale la pena
Acceso a una impresora 3D (para piezas de repuesto y soportes de cámara), una segunda cámara y una lámpara fija para la mesa de trabajo.
✗ No compres para esta trilha
Brazo con servos de hobby y señal PWM (SG90, MG996R): LeRobot no lee su posición. Y no pagues por una GPU sin CUDA esperando entrenar políticas.