PTENES
← Ruta 1 MÓDULO 1.1

🌐 El gran panorama: de los LLM a los robots que actúan

Los LLM saben hablar del mundo, pero no lo tocan. Este módulo traza la pila cognitiva percepción→lenguaje→acción, explica por qué la manipulación es el cuello de botella más antiguo de la IA y muestra cómo los foundation models para robótica se convirtieron en la apuesta de 2026.

6
Temas
~35
Minutos
Básico
Nivel
Teoría
Tipo

Contenido detallado

1

🧠 La pila de la cognición: percepción → lenguaje → acción

Todo agente incorporado ejecuta el mismo ciclo: percibir el mundo mediante sensores, razonar sobre el objetivo y el contexto, y actuar emitiendo comandos motores. Un LLM puro vive enteramente en la capa intermedia: opera sobre tokens, no sobre el mundo. No tiene grounding sensorial (no sabe dónde está el vaso en coordenadas métricas) ni canal de acción (no emite torque). El salto de VLA consiste en cerrar ese ciclo: conectar la percepción visual en la entrada y una cabeza de acción en la salida del mismo backbone que ya razona.

👁 PERCEPCIÓN cámaras, fuerza, propiocepción → tokens 💬 LENGUAJE / RAZONAMIENTO dominio nativo de los LLM 🦾 ACCIÓN Δpose · gripper · torque retroalimentación del mundo

El loop se cierra: la acción cambia el mundo, que vuelve como nueva percepción. Los LLMs cubren solo la franja central.

📊 Por qué la acción es el eslabón que falta

  • 0% — fracción de la acción física que un LLM de texto puede ejecutar sin un canal motor.
  • ~50Hz — tasa de control típica de la manipulación fina; el texto autorregresivo no se acerca ni de lejos sin chunking.
  • 3D métrico — el espacio de acción real, no el espacio de tokens.

Grounding

Anclar símbolos en el mundo físico.

Ciclo sensoriomotor

La acción altera la siguiente percepción.

Encarnación

Un cuerpo con sensores y actuadores.

Canal de acción

Salida motora además del texto.

2

🤖 IA incorporada y la paradoja de Moravec

O paradoja de Moravec (años 1980) observa una inversión contraintuitiva: las tareas que los humanos consideran "fáciles" —recoger un objeto, mantener el equilibrio, percibir la profundidad— requieren una enorme capacidad de cómputo sensoriomotor, mientras que el razonamiento "difícil", como el ajedrez o las integrales, es relativamente barato para las máquinas. La razón es evolutiva: miles de millones de años perfeccionaron nuestra motricidad y la volvieron inconsciente; la matemática formal existe desde hace apenas unos milenios. Por eso un modelo supera a los humanos en exámenes de matemáticas, pero aún se equivoca al doblar una toalla.

✓ Qué hace viable VLA hoy

  • ✓Reaprovechar los priors visuales y semánticos de modelos a escala web.
  • ✓Los datasets cross-embodiment ofrecen cobertura sensoriomotora.
  • ✓Action chunking amortiza la latencia del control fino.

✗ Por qué la manipulación todavía falla

  • ✗La dinámica de contacto es discontinua y difícil de modelar.
  • ✗Los objetos deformables y la fricción variable quedan fuera del entrenamiento.
  • ✗Un error de milímetros hace fallar la tarea; el texto tolera la ambigüedad.

⚡ Consejo práctico

Al evaluar un VLA, no confundas la fluidez del lenguaje con la competencia motora. Un modelo que describe perfectamente "cómo" agarrar el vaso puede aun así fallar al ejecutarlo. Mide tasa de éxito físico, no la calidad de la narración.

Paradoja de Moravec

Sensoriomotor > razonamiento en costo.

Dinámica de contacto

Fuerzas no suaves al tocar.

Brecha de destreza

Distancia hasta la mano humana.

Embodied AI

Inteligencia situada en un cuerpo.

3

🌍 Modelos fundacionales para robótica

La robótica clásica entrenaba una política por tarea por robot — N×M modelos frágiles. La tesis del foundation model invierte esto: entrenar un modelo grande para muchas tareas y muchos cuerpos y obtener generalización. La apuesta es que los datos diversos inducen representaciones compartidas — así como un LLM aprende la sintaxis de un idioma y la transfiere a otro, un VLA aprende a «agarrar» con un brazo y lo transfiere a otro.

# Paradigma antigo            # Paradigma foundation
politica_pegar_braçoA()       modelo_vla(obs, instrução)
politica_empurrar_braçoA()      → ação  # qualquer tarefa
politica_pegar_braçoB()         # qualquer corpo
...  # N×M políticas frágeis   # 1 modelo, generaliza

💡 La tesis de generalización en tres ejes

Un buen VLA generaliza en objetos (agarrar algo nunca visto), posiciones/escenas (mesa nueva, iluminación nueva) y instrucciones (comando reformulado). RT-2 mostró que el tercer eje —el lenguaje— hereda directamente del preentrenamiento web.

Política generalista

Una política para muchas tareas.

Cross-embodiment

Transferir entre cuerpos distintos.

Transferencia positiva

Más datos ayudan, no estorban.

Ejes de generalización

Objeto · escena · instrucción.

4

🚀 El salto RT-1 → RT-2

RT-1 (Google, 2022) demostró que un transformer podía mapear cámara+instrucción a acciones tokenizadas, entrenado con ~130k demos. Pero su conocimiento se limitaba a las demos. RT-2 (2023) dio el salto: tomó un VLM ya preentrenado en la web (PaLI-X / PaLM-E) y lo coajustó con datos de robots, representando acciones como tokens de texto. El resultado fue generalización semántica emergente — el robot podía «recoger al animal extinto» (el dinosaurio de juguete) por heredar conceptos de la web, sin haber visto nunca esta instrucción en demos.

1

RT-1 — tokenización de acciones

Transformer + FiLM, acciones en bins discretos. Sólido, pero sin conocimiento más allá del conjunto de datos.

2

RT-2 — VLM como base

Las acciones se convierten en tokens de texto en un VLM web-scale; el co-fine-tuning preserva el conocimiento de internet.

3

Emergencia semántica

El razonamiento de varios pasos y las referencias a conceptos nunca demostrados aparecen «gratis».

Transferencia de web a acción

El conocimiento web se convierte en acción.

Co-fine-tuning

Mezcla datos web y del robot durante el entrenamiento.

Action-as-text

Acciones como tokens del vocabulario.

Habilidades emergentes

Capacidades no demostradas.

5

🏢 El ecosistema 2023-2026

El campo se organizó en torno a unos pocos polos. Google DeepMind dio el impulso académico (RT-1/RT-2/RT-X). Physical Intelligence presentó los modelos generalistas π0/π0.5 con flow matching. NVIDIA impulsa la stack de humanoides con GR00T y simulación. Figure (Helix) y Tesla (Optimus) industrializan los humanoides.

Google DeepMind

RT-1, RT-2, RT-X, Gemini Robotics. Pioneros del paradigma VLA.

Physical Intelligence

π0/π0.5, FAST. Generalistas de manipulación con flow matching.

NVIDIA

GR00T N1/N1.5, Isaac Sim/Lab, Cosmos. Base + simulación.

Figure / Tesla

Helix (System 1/2) y Optimus. Humanoides a escala industrial.

⚡ Consejo práctico

Acompaña quién es open (OpenVLA, Octo, LeRobot, GR00T parcial) frente a cerrado (RT-2, Optimus). Para aprender y crear prototipos, el ecosistema abierto es donde realmente ejecutas código.

GR00T

Foundation de humanoides de NVIDIA.

π0

Generalista de Physical Intelligence.

Helix

VLA de sistema dual de Figure.

Optimus

Humanoide de Tesla, stack FSD.

6

⏰ Por qué ahora: datos, compute, arquitectura

Los VLAs no surgieron de un único invento, sino de la convergencia de tres curvas. Datos: Open X-Embodiment unió más de 60 datasets, 22 embodiments y más de 1M de trayectorias. Compute: Las GPU hicieron viable entrenar modelos de más de 7B con video robótico. Arquitectura: transformers y los modelos de difusión/flow dieron la forma adecuada de incorporar multimodalidad y generar acciones expresivas.

📊 Las tres curvas convergentes

  • 1M+ trayectorias — Open X-Embodiment agregó demostraciones que antes estaban dispersas.
  • 22 encarnaciones — diversidad de cuerpos que hace posible la transferencia.
  • 7B parámetros — la escala de OpenVLA, entrenable en clústeres accesibles.

💡 El momento Pareto

Ninguna de las tres curvas bastaría por sí sola. Es la intersección —datos unificados + capacidad de cómputo accesible + arquitectura adecuada— la que sitúa la robótica generalista en la frontera de 2026. Es el mismo patrón que destrabó los LLM en 2020, con varios años de desfase debido al costo de los datos físicos.

Open X-Embodiment

Corpus unificado de robótica.

Escalado

El compute permite usar más de 7B en video.

Transformers/difusión

Arquitecturas para lo multimodal + acción.

Momento Pareto

Intersección de las tres curvas.

✅ Resumen del módulo

✓
La pila cognitiva — Los LLM viven en la capa de lenguaje; los VLA cierran el ciclo con percepción y acción.
✓
Paradoja de Moravec — la manipulación es el cuello de botella, no el razonamiento.
✓
Foundation models — un modelo, N tareas y cuerpos, con generalización entre objetos, escenas e instrucciones.
✓
RT-1→RT-2 y el ecosistema — El co-fine-tuning del VLM generó emergencia semántica; los players y la convergencia de datos/compute/arquitectura explican el «por qué ahora».

Próximo módulo

1.2 — Anatomía VLA: abramos el modelo y veamos por dentro el vision encoder, el backbone y el action head.