Hardware: brazos, sensores, Edge Computing

Contenido detallado

🔹 Brazos manipuladores: SO-101, Franka, UR, xArm

Los brazos difieren en tres ejes: DOF (grados de libertad), payload e repetibilidad. O SO-101 es el punto de entrada (~$100, servos Feetech); Franka Panda es el estándar de investigación con 7 DOF y control de torque/fuerza; UR e xArm son cobots industriales.

📊 Comparación rápida

SO-101 — ~$100, 6 DOF, ideal para aprender y recolectar demos.
Franka Panda — 7 DOF, control de fuerza, favorito de la academia.
UR5e / UR10e — cobot industrial, certificación de seguridad.
xArm 7 — buena relación costo-beneficio para investigación, carga útil media.

# controlar um Franka via libfranka / franka_ros2 (controle de torque)
ros2 launch franka_bringup franka.launch.py robot_ip:=172.16.0.2
# enviar setpoints de junta a partir da policy VLA -> /joint_trajectory
# repetibilidade típica: Franka ±0.1mm · SO-101 ~mm (servos de hobby)

⚡ Consejo práctico

Control por torque/admittance (Franka) permite un contacto seguro; los brazos que solo controlan la posición requieren mucho cuidado al insertar objetos. Para empezar con VLA, el SO-101 cubre el 90% del aprendizaje al 1% del costo.

DOF

Grados de libertad.

Payload

Carga máxima.

Repetibilidad

Precisión del retorno.

Control de fuerza

Contacto seguro.

🔹 Pinzas y manos: paralela, succión, multidáctil, táctil

O end-effector define lo que el robot puede agarrar. Una pinza paralela es simple y robusta; succión domina el bin-picking de superficies planas; las manos multidedo (Allegro, Shadow) aportan destreza a costa de complejidad. Los sensores táctiles como GelSight aportan retroalimentación del contacto que la cámara no capta.

📊 Elección del end-effector según la tarea

Pick-and-place — basta con una pinza paralela.
Bin picking de cajas/placas — succión.
Manipulación fina / in-hand — múltiples dedos + táctil.
Inserción (peg-in-hole) — fuerza/admittance + GelSight.

✓ Hacer

✓Empieza con una pinza paralela: cubre la mayoría de las tareas.
✓Agregar táctil para inserción/manipulación fina y in-hand.
✓Hacer coincidir el efector final con la tarea, no al revés.

✗ Evitar

✗Una mano de 20 DOF para un simple pick-and-place.
✗Succión en objetos porosos o irregulares.
✗Ignorar el estado del gripper en las observaciones del VLA.

⚡ Consejo práctico

El tacto es la frontera: las policies vision-tactile (p. ej., integrar GelSight al VLA) resuelven la inserción y la manipulación de objetos translúcidos o resbaladizos que la cámara por sí sola no puede ver. Pero agrega el tacto solo cuando la tarea lo requiera: un sensor adicional es otro eje que el modelo debe aprender.

Paralela

Simple y robusta.

Succión

Bin picking plano.

Multidedo

Destreza, en la mano.

GelSight

Tacto de alta resolución.

🔹 Sensores: RGB-D, wrist cam, IMU, encoders

La visión es la entrada dominante del VLA. RealSense (D435/D455) e ZED ofrecen RGB-D accesible; la cámara de muñeca (en la muñeca) resuelve la oclusión y mejora la manipulación fina. Encoders de articulación completan la propiocepción y la IMU ayuda en bases móviles/humanoides.

# RealSense via SDK / ROS2
ros2 launch realsense2_camera rs_launch.py \
  enable_depth:=true align_depth.enable:=true rgb_camera.color_profile:=640x480x30

# múltiplas câmeras: top + wrist viram chaves no LeRobotDataset
# observation.images.top / observation.images.wrist

📊 Función de cada sensor

Cámara de primera — visión global de la escena, contexto de la tarea.
Cámara en la muñeca — detalle local, prevención de oclusiones en la pinza.
Encoders — estado de articulación (parte del observation.state).
Sensor F/T — fuerza en la muñeca para un contacto controlado.

RGB-D

Color + profundidad.

Cámara en la muñeca

Antioclusiones.

Encoder

Estado de articulación.

IMU

Aceleración/orientación.

🔹 Computación de borde: Jetson Orin/Thor, rendimiento vs. consumo

Ejecuta el VLA on-board elimina la latencia de red. La línea Jetson domina: Orin (AGX/NX) ofrece de decenas a cientos de TOPS dentro de un rango térmico de 15–60 W; Thor (Blackwell, 2025) eleva el nivel de los foundation models de robótica en el edge. La clave es adaptar la cuantización al rango de potencia.

Elegir el módulo

Orin Nano/NX para policies pequeñas; AGX Orin/Thor para VLA 3-7B en el edge.

Optimizar

TensorRT, INT8/FP8, fusión de kernels; reducir la latencia sin perder mucha tasa de éxito.

Gestionar la temperatura/energía

Modo de potencia (nvpmodel), jetson_clocks y la disipación definen el throughput sostenido.

# fixar modo de potência máximo e clocks no Jetson
sudo nvpmodel -m 0          # MAXN
sudo jetson_clocks
tegrastats                  # monitorar GPU/CPU/EMC e temperatura

# compilar a policy com TensorRT (INT8) para inferência on-board
trtexec --onnx=policy.onnx --int8 --saveEngine=policy.engine

Jetson Orin

Edge, 15–60 W.

Jetson Thor

Blackwell para FMs.

TensorRT

INT8/FP8 en el edge.

Envolvente térmica

Throughput sostenido.

🔹 Teleoperación: leader-follower, VR, guantes, ergonomía

Toda imitación comienza con la teleoperación. Leader-follower (ALOHA, SO-101) es lo más directo: un brazo refleja los movimientos del otro. VR e guantes capturan manos hábiles y las mapean al robot. La ergonomía importa: la recolección agotadora genera demos deficientes, y los datos deficientes entran directamente al modelo.

📊 Modalidades de teleoperación

Leader-follower — barato, intuitivo, coincide con el espacio de acción del robot.
VR (Quest/Vision Pro) — captura de la mano en 6-DOF, buena para humanoides.
Guantes — manos con varios dedos, datos de destreza.
Reflejo cinemático — retarget de la pose humana al robot.

⚡ Consejo práctico

Asegúrate de que el espacio de acción de teleop sea idéntico a lo que indica la policy (Δpose vs juntas). La discrepancia ahí crea un sesgo sistemático que el VLA aprende como ruido.

Leader-follower

Reflejo directo.

Captura 6-DOF.

Guantes

Destreza con varios dedos.

Ergonomía

La comodidad = buenos datos.

✓ Hacer

✓Hacer coincidir el espacio de acción de la teleoperación con lo que ordena la policy.
✓Sesiones cortas y cómodas para mantener la calidad.
✓Variar intencionalmente la posición del objeto (cobertura).

✗ Evitar

✗Discrepancia del espacio de acción (Δpose vs juntas).
✗La recopilación exhaustiva degrada la calidad de las demos.
✗Grabar 200 episodios idénticos sin variación.

🔹 Presupuesto y montaje: de $100 a la plataforma de investigación

El costo de entrada se desplomó. Un setup completo de aprendizaje VLA — SO-101 líder + seguidor + 2 cámaras + Jetson — cuesta cientos de dólares, frente a decenas de miles por una célula Franka. Hoy la barrera es menos el dinero y más el método.

📊 Rangos de presupuesto

$100–300 — SO-100/SO-101 single, cámara USB, entrena en laptop/cloud.
$500–1k — leader+follower, 2 cámaras, Jetson Orin Nano.
$10k+ — ALOHA bimanual, varias RealSense, workstation.
$50k+ — Franka/UR con F/T, célula de investigación completa.

⚡ Consejo práctico

Empieza con poco presupuesto, entrena en la cloud y luego ejecuta la inferencia en el edge. El montaje de SO-101 + LeRobot es el camino más corto desde cero hasta tener una policy funcionando en un brazo real.

Entrada

SO-101 ~$100.

Intermedio

Leader+follower+Jetson.

Investigación

ALOHA / Franka.

Método > presupuesto

Los buenos datos importan más.

✅ Resumen del módulo

✓

Brazo por DOF/payload/repetibilidad — SO-101 entra, Franka investiga.

✓

El efector final sigue la tarea — paralela, succión, multifinger, táctil.

✓

Sensores — RGB-D + wrist cam + encoders alimentan el VLA.

✓

Jetson + cuantización — inferencia on-board que equilibra potencia y throughput.

✓

El costo se desplomó — VLA accesible; el método importa más que el presupuesto.

Próximo módulo

2.6 — Datasets: Open X-Embodiment, DROID y LIBERO, el combustible con el que se entrena todo lo que vimos.

← Volver a la ruta Próximo módulo →