🌫️ Diffusion Policy y Flow Matching

En el Módulo 1.4 vimos que MSE colapsa modos. La difusión lo resuelve modelando la acción como una muestreo de una distribución condicional: en vez de predecir un valor, aprende a transformar ruido gaussiano en una trayectoria válida mediante denoising. Como muestra, captura de forma natural distribuciones multimodales — elige un modo coherente en lugar del promedio. Y al generar toda la trayectoria (chunk), produce movimientos suaves y consistentes.

Diffusion Policy (Chi et al., 2023) aplicó DDPM al control: una red (U-Net 1D o transformer) elimina el ruido de una secuencia de acciones futuras condicionada por la observación. Combina action chunking (predecir H pasos) con horizonte móvil (ejecutar una parte, volver a predecir). Superó los baselines en manipulación fina y se convirtió en el estándar de oro para tareas de destreza, incluida la cabeza de acción de Octo.

# Diffusion Policy — inferência (esboço)
A = torch.randn(H, action_dim)          # ruído inicial
for k in reversed(range(K)):            # K passos de denoising
    eps = net(A, k, obs_cond)           # prevê o ruído
    A = ddpm_step(A, eps, k)            # remove um pouco
execute(A[:exec_horizon])               # receding horizon

Por debajo, la difusión tiene un proceso directo que agrega ruido gaussiano a la acción en K pasos hasta convertirlo en ruido puro, y un proceso inverso aprendido que lo deshace. La red aprende el score — el gradiente de la log-densidad ∇log p(a) — equivalente a predecir el ruido añadido. El conditioning en la observación se integra mediante FiLM o cross-attention, haciendo que la generación dependa de lo que ve el robot.

Flow Matching generaliza la difusión: en lugar de un proceso estocástico de denoising, aprende un campo vectorial que transforma ruido→acción mediante una ODE continua. Con conditional flow matching, el objetivo de entrenamiento es simplemente la velocidad a lo largo de un camino (frecuentemente recto) entre el ruido y los datos: un objetivo más simple y estable. El π0 usa exactamente esto en tu action expert para generar acciones continuas y fluidas a 50Hz.

El costo central de las políticas generativas es el número de evaluaciones de función (NFE) — cada paso de denoising/integración es un forward pass. El DDPM clásico usa de decenas a cientos de pasos, inviable a 50Hz. Soluciones: samplers rápidos (DDIM), consistency models (generan en 1-2 pasos) y destilación de un modelo lento a uno rápido. El flow matching con trayectorias rectas ya reduce el NFE de forma natural.

La gran decisión de diseño de la cabeza de acción: generación por difusión/flow versus tokens autorregresivos. La difusión es más expresiva (multimodal continua), pero exige varios pasos. El modelo autorregresivo (RT-2, OpenVLA, FAST) reutiliza el backbone LLM y tiene un entrenamiento simple, pero genera token a token y la discretización puede limitar la fidelidad. No hay un ganador universal: la disyuntiva es expresividad × latencia × simplicidad de integración.

Eixo            Difusão/Flow        Autoregressivo (tokens)
expressividade  alta (multimodal)   média (depende da disc.)
latência        K passos por chunk  1 forward, N tokens
integração      action expert extra reusa o backbone LLM
exemplos        Diffusion Policy,π0 RT-2, OpenVLA, FAST