🤖 Generalización Cross-Embodiment
Entrenar una vez y desplegar en varios robots con morfologías diferentes. Entiende por qué la diversidad de cuerpos es el mayor desafío —y la mayor ventaja— de los foundation models robóticos.
Contenido detallado
🦾 El problema del Embodiment
Por qué un brazo industrial de 6 DoF y un humanoide de 40+ DoF son mundos separados, y cuánto le cuesta eso a la robótica moderna.
Definición central
La encarnación es la forma física del robot: número de grados de libertad (DoF), cinemática de las articulaciones, tipo de pinza o mano y conjunto de sensores. Un brazo industrial de 6 DoF con pinza paralela es radicalmente distinto de un humanoide con 40+ DoF y manos diestras, incluso cuando ambos ejecutan la misma tarea abstracta, como "agarrar un objeto".
Con los LLM, un modelo entrenado con texto en inglés se transfiere al francés de forma natural. El desafío de la robótica es análogo: queremos que el conocimiento adquirido con un brazo fijo se transfiera a un humanoide. El embodiment es el «idioma» del robot — y necesitamos un traductor universal.
📐 Normalización del espacio de acciones
La ingeniería que permite que un modelo genere acciones válidas para robots radicalmente diferentes, sin reinventar la rueda para cada nuevo hardware.
Para que un modelo controle distintos robots, las acciones deben estar en un espacio común y normalizado. Sin esto, la misma salida numérica significa cosas distintas en cada robot, y el gradiente de un embodiment contamina el aprendizaje de otro.
✓ Buenas prácticas
- ✓Expresar acciones en el espacio cartesiano del end-effector (posición + rotación relativa), no en ángulos de articulación absolutos
- ✓Normalizar por cuantiles del dataset por dimensión de acción — elimina las diferencias de escala entre robots
- ✓Estandarizar la representación de gripper como valor continuo [0,1] en todos los embodiments
- ✓Usar frames de referencia comunes — Base del robot o cámara de muñeca como origen
✗ Errores comunes
- ✗Mezclar acciones en joint-space de robots diferentes: los mismos índices, con significados opuestos
- ✗Ignorar unidades inconsistentes (rad vs. grado, mm vs. cm) entre datasets de distintos laboratorios
- ✗Usar action spaces de dimensión fija que fuerzan el padding para robots con menos DoF
- ✗Concatenar frames de referencia sin alineación — el modelo aprende transformaciones espurias
Open X-Embodiment estandarizó acciones de 22 robots diferentes en un formato único usando poses cartesianas 6D (3 de traslación + 3 de rotación) + estado del gripper. Esa estandarización fue una condición necesaria para la transferencia positiva observada en RT-X.
🚀 RT-X y las ganancias de Positive Transfer
La prueba empírica de que entrenar con datos de muchos robots mejora a cada uno de ellos —el punto de inflexión que abrió la era de los foundation models robóticos.
RT-1 — Robótica con datos a escala
Google recopila 130k episodios con un solo robot. Muestra que el escalamiento de datos mejora la generalización. Limitado a un tipo de hardware.
RT-2 — política vía VLM
Sustitución del backbone por un VLM preentrenado (PaLI-X). Aparición de razonamiento de varios pasos y generalización mediante lenguaje. Aún principalmente single-embodiment.
Open X-Embodiment — 22 robots, 500+ tasks
Consorcio de 33 laboratorios que reúne datasets de 22 robots diferentes en un único repositorio estandarizado. Base para el entrenamiento cross-embodiment a escala.
RT-X — positive transfer comprobado
Modelos entrenados con el conjunto combinado de 22 robots superaron a los especialistas entrenados en cada robot por separado. Aparición de skills que no se vieron durante el entrenamiento individual. La prueba definitiva de que el cross-embodiment funciona.
Al igual que un LLM entrenado en 100 idiomas es mejor en inglés que uno entrenado solo en inglés (cross-lingual transfer), un VLA entrenado en 22 robots es mejor en cada uno de ellos que los especialistas aislados. La diversidad de distribuciones actúa como regularizador implícito.
🧩 Representación Unificada de Acciones
La pieza de ingeniería que transforma datasets incompatibles en un único problema de aprendizaje —y determina cuánta transferencia es posible.
Una representación unificada codifica las acciones de todos los robots en un formato compartido que el modelo aprende a decodificar según el embodiment objetivo. La elección de la representación determina cuánto conocimiento se puede compartir y con qué facilidad se agrega un nuevo robot.
🎯 Entrenamiento consciente de la encarnación
Hacer que el modelo sea explícitamente consciente del cuerpo que controla, acelerando la adaptación, reduciendo la interferencia y habilitando few-shot para hardware nuevo.
El entrenamiento consciente de la encarnación proporciona al modelo información explícita sobre qué cuerpo se está controlando durante el entrenamiento y la inferencia. Puede ser un identificador de robot, vectores de propiocepción o parámetros cinemáticos, lo que permite que la política module su comportamiento según las capacidades del hardware.
✓ Técnicas eficaces
-
✓
FiLM layers — Feature-wise Linear Modulation condiciona cada capa del modelo con el embedding del embodiment y adapta las representaciones sin duplicar parámetros
-
✓
Hypernetworks — una red secundaria genera los pesos de la política principal según el ID del embodiment: máxima adaptabilidad con sobrecarga controlada
-
✓
Curriculum multi-embodiment — secuenciar los robots del más simple al más complejo durante el entrenamiento, lo que facilita la transferencia progresiva
-
✓
Balanceo del conjunto de datos — los pesos de muestreo por robot evitan que los robots con más datos dominen el gradiente
✗ Errores de diseño
-
✗
Tratar a todos los robots de forma idéntica sin conditioning — el modelo no aprende a distinguir capacidades y genera acciones inválidas
-
✗
Usar solo one-hot encoding de la identidad del robot — captura la identidad, pero no la estructura morfológica, lo que impide generalizar a nuevo hardware
-
✗
Dataset desbalanceado sin compensación: los robots con 10x más datos dominan el entrenamiento y se degradan los más pequeños
-
✗
Ajuste fino de todos los parámetros para un robot nuevo: destruye el conocimiento adquirido en el preentrenamiento cross-embodiment
Un modelo cross-embodiment bien entrenado puede adaptarse a un robot nunca visto con solo 10–50 demostraciones, frente a los miles que se necesitan para entrenar desde cero. El conditioning aporta el «vocabulario morfológico» — las demos enseñan el «acento» del nuevo cuerpo.
⚠️ Límites: cuando falla la transferencia
El negative transfer, el gradient conflict y el capacity bottleneck: entender dónde falla el cross-embodiment es tan importante como saber dónde funciona.
La transferencia no siempre ayuda: el negative transfer ocurre cuando los datos de un robot perjudican el desempeño de otro, típicamente entre morfologías muy distintas, dinámicas incompatibles o datasets desbalanceados. Creer que "más datos siempre ayudan" conduce a sistemas peores.
Las manos diestras (30+ DoF, control de fuerza por dedo) y las pinzas simples (1 DoF, apertura binaria) presentan demandas tan diferentes que mezclarlas ingenuamente puede degradar ambas. Los gradientes entran en conflicto: lo que optimiza la pinza perjudica la mano y viceversa. Solución: agrupar por similitud morfológica antes de compartir.
🔴 Negative transfer
Los datos del robot A perjudican el rendimiento en el robot B. Esto ocurre cuando las distribuciones de observación/acción son ortogonales o conflictivas.
⚡ Conflicto de gradientes
Los gradientes de distintos embodiments apuntan en direcciones opuestas en el espacio de parámetros. El modelo oscila en lugar de converger.
🗜️ Capacity bottleneck
Modelo demasiado pequeño para representar todos los embodiments al mismo tiempo. Agregar robots empeora a todos porque compiten por capacidad.
📐 Interferencia entre tareas
Las tareas de un robot (p. ej., fuerza bruta industrial) interfieren con las políticas de otro (p. ej., manipulación delicada quirúrgica). Mismo embodiment, objetivos conflictivos.
Estrategias de mitigación: de la más simple a la más robusta
✅ Resumen del módulo
Siguiente módulo
3.4 — Aplicaciones sectoriales: dónde las VLA ya generan valor en el mundo real