Contenido detallado
🧠 La pila de la cognición: percepción → lenguaje → acción
Todo agente incorporado ejecuta el mismo ciclo: percibir el mundo mediante sensores, razonar sobre el objetivo y el contexto, y actuar emitiendo comandos motores. Un LLM puro vive enteramente en la capa intermedia: opera sobre tokens, no sobre el mundo. No tiene grounding sensorial (no sabe dónde está el vaso en coordenadas métricas) ni canal de acción (no emite torque). El salto de VLA consiste en cerrar ese ciclo: conectar la percepción visual en la entrada y una cabeza de acción en la salida del mismo backbone que ya razona.
El loop se cierra: la acción cambia el mundo, que vuelve como nueva percepción. Los LLMs cubren solo la franja central.
📊 Por qué la acción es el eslabón que falta
- 0% — fracción de la acción física que un LLM de texto puede ejecutar sin un canal motor.
- ~50Hz — tasa de control típica de la manipulación fina; el texto autorregresivo no se acerca ni de lejos sin chunking.
- 3D métrico — el espacio de acción real, no el espacio de tokens.
Grounding
Anclar símbolos en el mundo físico.
Ciclo sensoriomotor
La acción altera la siguiente percepción.
Encarnación
Un cuerpo con sensores y actuadores.
Canal de acción
Salida motora además del texto.
🤖 IA incorporada y la paradoja de Moravec
O paradoja de Moravec (años 1980) observa una inversión contraintuitiva: las tareas que los humanos consideran "fáciles" —recoger un objeto, mantener el equilibrio, percibir la profundidad— requieren una enorme capacidad de cómputo sensoriomotor, mientras que el razonamiento "difícil", como el ajedrez o las integrales, es relativamente barato para las máquinas. La razón es evolutiva: miles de millones de años perfeccionaron nuestra motricidad y la volvieron inconsciente; la matemática formal existe desde hace apenas unos milenios. Por eso un modelo supera a los humanos en exámenes de matemáticas, pero aún se equivoca al doblar una toalla.
✓ Qué hace viable VLA hoy
- ✓Reaprovechar los priors visuales y semánticos de modelos a escala web.
- ✓Los datasets cross-embodiment ofrecen cobertura sensoriomotora.
- ✓Action chunking amortiza la latencia del control fino.
✗ Por qué la manipulación todavía falla
- ✗La dinámica de contacto es discontinua y difícil de modelar.
- ✗Los objetos deformables y la fricción variable quedan fuera del entrenamiento.
- ✗Un error de milímetros hace fallar la tarea; el texto tolera la ambigüedad.
⚡ Consejo práctico
Al evaluar un VLA, no confundas la fluidez del lenguaje con la competencia motora. Un modelo que describe perfectamente "cómo" agarrar el vaso puede aun así fallar al ejecutarlo. Mide tasa de éxito físico, no la calidad de la narración.
Paradoja de Moravec
Sensoriomotor > razonamiento en costo.
Dinámica de contacto
Fuerzas no suaves al tocar.
Brecha de destreza
Distancia hasta la mano humana.
Embodied AI
Inteligencia situada en un cuerpo.
🌍 Modelos fundacionales para robótica
La robótica clásica entrenaba una política por tarea por robot — N×M modelos frágiles. La tesis del foundation model invierte esto: entrenar un modelo grande para muchas tareas y muchos cuerpos y obtener generalización. La apuesta es que los datos diversos inducen representaciones compartidas — así como un LLM aprende la sintaxis de un idioma y la transfiere a otro, un VLA aprende a «agarrar» con un brazo y lo transfiere a otro.
# Paradigma antigo # Paradigma foundation
politica_pegar_braçoA() modelo_vla(obs, instrução)
politica_empurrar_braçoA() → ação # qualquer tarefa
politica_pegar_braçoB() # qualquer corpo
... # N×M políticas frágeis # 1 modelo, generaliza
💡 La tesis de generalización en tres ejes
Un buen VLA generaliza en objetos (agarrar algo nunca visto), posiciones/escenas (mesa nueva, iluminación nueva) y instrucciones (comando reformulado). RT-2 mostró que el tercer eje —el lenguaje— hereda directamente del preentrenamiento web.
Política generalista
Una política para muchas tareas.
Cross-embodiment
Transferir entre cuerpos distintos.
Transferencia positiva
Más datos ayudan, no estorban.
Ejes de generalización
Objeto · escena · instrucción.
🚀 El salto RT-1 → RT-2
RT-1 (Google, 2022) demostró que un transformer podía mapear cámara+instrucción a acciones tokenizadas, entrenado con ~130k demos. Pero su conocimiento se limitaba a las demos. RT-2 (2023) dio el salto: tomó un VLM ya preentrenado en la web (PaLI-X / PaLM-E) y lo coajustó con datos de robots, representando acciones como tokens de texto. El resultado fue generalización semántica emergente — el robot podía «recoger al animal extinto» (el dinosaurio de juguete) por heredar conceptos de la web, sin haber visto nunca esta instrucción en demos.
RT-1 — tokenización de acciones
Transformer + FiLM, acciones en bins discretos. Sólido, pero sin conocimiento más allá del conjunto de datos.
RT-2 — VLM como base
Las acciones se convierten en tokens de texto en un VLM web-scale; el co-fine-tuning preserva el conocimiento de internet.
Emergencia semántica
El razonamiento de varios pasos y las referencias a conceptos nunca demostrados aparecen «gratis».
Transferencia de web a acción
El conocimiento web se convierte en acción.
Co-fine-tuning
Mezcla datos web y del robot durante el entrenamiento.
Action-as-text
Acciones como tokens del vocabulario.
Habilidades emergentes
Capacidades no demostradas.
🏢 El ecosistema 2023-2026
El campo se organizó en torno a unos pocos polos. Google DeepMind dio el impulso académico (RT-1/RT-2/RT-X). Physical Intelligence presentó los modelos generalistas π0/π0.5 con flow matching. NVIDIA impulsa la stack de humanoides con GR00T y simulación. Figure (Helix) y Tesla (Optimus) industrializan los humanoides.
Google DeepMind
RT-1, RT-2, RT-X, Gemini Robotics. Pioneros del paradigma VLA.
Physical Intelligence
π0/π0.5, FAST. Generalistas de manipulación con flow matching.
NVIDIA
GR00T N1/N1.5, Isaac Sim/Lab, Cosmos. Base + simulación.
Figure / Tesla
Helix (System 1/2) y Optimus. Humanoides a escala industrial.
⚡ Consejo práctico
Acompaña quién es open (OpenVLA, Octo, LeRobot, GR00T parcial) frente a cerrado (RT-2, Optimus). Para aprender y crear prototipos, el ecosistema abierto es donde realmente ejecutas código.
GR00T
Foundation de humanoides de NVIDIA.
π0
Generalista de Physical Intelligence.
Helix
VLA de sistema dual de Figure.
Optimus
Humanoide de Tesla, stack FSD.
⏰ Por qué ahora: datos, compute, arquitectura
Los VLAs no surgieron de un único invento, sino de la convergencia de tres curvas. Datos: Open X-Embodiment unió más de 60 datasets, 22 embodiments y más de 1M de trayectorias. Compute: Las GPU hicieron viable entrenar modelos de más de 7B con video robótico. Arquitectura: transformers y los modelos de difusión/flow dieron la forma adecuada de incorporar multimodalidad y generar acciones expresivas.
📊 Las tres curvas convergentes
- 1M+ trayectorias — Open X-Embodiment agregó demostraciones que antes estaban dispersas.
- 22 encarnaciones — diversidad de cuerpos que hace posible la transferencia.
- 7B parámetros — la escala de OpenVLA, entrenable en clústeres accesibles.
💡 El momento Pareto
Ninguna de las tres curvas bastaría por sí sola. Es la intersección —datos unificados + capacidad de cómputo accesible + arquitectura adecuada— la que sitúa la robótica generalista en la frontera de 2026. Es el mismo patrón que destrabó los LLM en 2020, con varios años de desfase debido al costo de los datos físicos.
Open X-Embodiment
Corpus unificado de robótica.
Escalado
El compute permite usar más de 7B en video.
Transformers/difusión
Arquitecturas para lo multimodal + acción.
Momento Pareto
Intersección de las tres curvas.
✅ Resumen del módulo
Próximo módulo
1.2 — Anatomía VLA: abramos el modelo y veamos por dentro el vision encoder, el backbone y el action head.