🌉 Sim-to-Real: de lo virtual a lo físico

O brecha de realidad es la diferencia entre el comportamiento de un robot en el simulador y en el mundo real. Una política perfecta en simulación puede fallar el 100% de las veces en el mundo real; entender por qué es el punto de partida de todo sim-to-real sólido.

Domain randomization varía sistemáticamente los parámetros del simulador en cada episodio. La política se ve obligada a generalizar porque nunca ve el mismo escenario dos veces: la realidad se convierte en un "dominio" más con el que el modelo aprendió a lidiar.

# Visual DR — randomiza aparência
visual_dr:
  texture_randomization: true       # texturas aleatórias em cada objeto
  background_color: [0.1, 0.9]      # range de luminosidade do fundo
  light_intensity: [0.5, 1.5]       # posição e intensidade das luzes
  camera_position_noise: 0.02       # ruído na posição da câmera (m)

# Physics DR — randomiza dinâmica
physics_dr:
  object_mass: [0.7, 1.3]           # ±30% na massa dos objetos
  friction_coefficient: [0.5, 1.5]  # ±50% no coeficiente de atrito
  joint_damping: [0.8, 1.2]         # amortecimento das juntas
  action_delay_steps: [1, 3]        # delay de 1 a 3 steps nos comandos

# ADR — Automatic Domain Randomization
adr:
  enabled: true
  performance_threshold: 0.85       # aumenta ranges quando perf > 85%
  range_increment: 0.05             # incremento gradual dos ranges

Identificación de sistemas (sysid) es el proceso de medir los parámetros físicos reales del robot —masas, inercias, fricción y rigidez— y configurar el simulador para que coincidan. En lugar de aleatorizar todo, calibras la simulación para que se acerque lo más posible al mundo real.

O pipeline completo de transferencia de sim-to-real implica entrenamiento con DR/sysid, validación sim-to-sim, deploy progresivo con restricciones de seguridad e iteración con datos reales. Es el cuello de botella de toda la robótica basada en aprendizaje.

class ActionSmoother:
    """Filtro EMA para suavizar comandos e evitar movimentos bruscos."""
    def __init__(self, alpha: float = 0.7):
        self.alpha = alpha          # 0.7 = suave; 1.0 = sem filtro
        self.prev_action = None

    def __call__(self, raw_action):
        if self.prev_action is None:
            self.prev_action = raw_action
            return raw_action
        # Exponential Moving Average
        smoothed = self.alpha * raw_action + (1 - self.alpha) * self.prev_action
        self.prev_action = smoothed
        return smoothed

# Uso no loop de controle
smoother = ActionSmoother(alpha=0.7)
while True:
    obs = robot.get_observation()
    raw_action = policy(obs)
    safe_action = smoother(raw_action)
    robot.execute(np.clip(safe_action, -v_max, v_max))

Un único pass de sim-to-real rara vez es suficiente. El bucle real-to-sim-to-real es iterativo: recopilas datos del robot real, los usas para calibrar y mejorar el simulador, vuelves a entrenar la política en la simulación mejorada y la despliegas de nuevo. Cada ciclo mejora tanto la simulación como la política.

Los hitos de sim-to-real demuestran que el enfoque funciona para tareas de complejidad extrema. Las lecciones aprendidas en estos proyectos son directamente aplicables a cualquier pipeline VLA.