🎯 Aprendizaje por imitación y Behavior Cloning

Behavior Cloning (BC) reduce el control al aprendizaje supervisado: dado un dataset de pares (estado, acción) demostrados por una persona, se entrena una política π(a|s) que maximiza la verosimilitud de las acciones observadas. Es simple, estable y escalable; por eso casi todos los VLA (RT-1, OpenVLA, π0) se entrenan con BC. La política no necesita recompensas ni interactuar con el entorno durante el entrenamiento, solo necesita las demostraciones.

# Behavior Cloning — objetivo
#   maximizar  Σ log π(a_t | s_t)   sobre demos do expert
for (obs, action) in demo_loader:
    pred = policy(obs)               # estado → ação
    loss = criterion(pred, action)   # ex: cross-entropy ou flow
    loss.backward(); opt.step()

El talón de Aquiles del BC: el modelo se entrena con la distribución de estados del expert, pero durante la ejecución visita estados que él mismo generó. Un pequeño error desvía al robot hacia un estado ligeramente fuera de la distribución, donde la política es menos confiable, comete un error mayor, y así sucesivamente: el error compuesto (compounding error). Teóricamente, el costo crece con O(εT²) en el horizonte T, frente al O(εT) ideal.

DAgger (Dataset Aggregation) combate el distribution shift recopilando etiquetas en los estados que la política realmente visita: se ejecuta el clon y el experto anota la acción correcta en esos estados, la agrega al dataset y vuelve a entrenar. Esto enseña comportamientos de recuperación. Las demos en sí provienen de teleoperación — leader-follower, VR o guantes, cuya calidad y cobertura definen el techo de la política.

Para un mismo estado, con frecuencia hay varias acciones igual de buenas — rodear un obstáculo por la izquierda o por la derecha. Distintos demostradores eligen caminos diferentes. Si la política se entrena con MSE, aprende a promedio de esas acciones, que puede caer exactamente en el obstáculo (mode averaging). Por eso los VLAs modernos usan cabezas expresivas — difusión, flow matching o tokens discretos: capaces de representar distribuciones multimodales.

En imitation learning, datos > arquitectura. Lo que importa no es el volumen bruto, sino cobertura (estados raros y de recuperación representados), diversidad (objetos, posiciones, iluminación, distractores) y consistencia. Las demos subóptimas o contradictorias confunden la política; las demos limpias y variadas generalizan. Un corpus pequeño pero diverso muchas veces supera a uno grande pero redundante.

La métrica soberana es el tasa de éxito — fracción de intentos que completan la tarea. Pero una cifra alta en escenas de entrenamiento puede engañar. La prueba honesta mide generalización en tres ejes: objetos nuevos, posiciones/escenas nuevas e instrucciones reformuladas. Evalúa siempre con N intentos suficientes y protocolos OOD (out-of-distribution), informando el intervalo de confianza.

# Protocolo de avaliação honesto
seen      = eval(policy, scenes_treino)      # baseline
ood_obj   = eval(policy, objetos_novos)      # generaliza objeto?
ood_pos   = eval(policy, posicoes_novas)     # generaliza cena?
ood_instr = eval(policy, instrucoes_novas)   # generaliza linguagem?
report(success_rate, n=50, ci=0.95)