🌫️ Diffusion Policy e Flow Matching

No Módulo 1.4 vimos que MSE colapsa modos. A difusão resolve modelando a ação como uma amostragem de uma distribuição condicional: em vez de prever um valor, aprende a transformar ruído gaussiano numa trajetória válida por denoising. Como amostra, captura naturalmente distribuições multimodais — escolhe um modo coerente em vez da média. E ao gerar a trajetória inteira (chunk), produz movimentos suaves e consistentes.

Diffusion Policy (Chi et al., 2023) aplicou DDPM a controle: uma rede (U-Net 1D ou transformer) faz denoising de uma sequência de ações futuras condicionada na observação. Combina action chunking (prever H passos) com receding horizon (executar parte, re-prever). Bateu baselines em manipulação fina e virou o padrão-ouro para tarefas dexterosas — inclusive a cabeça de ação do Octo.

# Diffusion Policy — inferência (esboço)
A = torch.randn(H, action_dim)          # ruído inicial
for k in reversed(range(K)):            # K passos de denoising
    eps = net(A, k, obs_cond)           # prevê o ruído
    A = ddpm_step(A, eps, k)            # remove um pouco
execute(A[:exec_horizon])               # receding horizon

Por baixo, difusão tem um processo direto que adiciona ruído gaussiano à ação em K passos até virar ruído puro, e um processo reverso aprendido que o desfaz. A rede aprende o score — o gradiente da log-densidade ∇log p(a) — equivalente a prever o ruído adicionado. O conditioning na observação entra via FiLM ou cross-attention, fazendo a geração depender do que o robô vê.

Flow Matching generaliza a difusão: em vez de um processo estocástico de denoising, aprende um campo vetorial que transporta ruído→ação por uma ODE contínua. Com conditional flow matching, o alvo de treino é simplesmente a velocidade ao longo de um caminho (frequentemente reto) entre ruído e dado — objetivo mais simples e estável. O π0 usa exatamente isso no seu action expert para gerar ação contínua fluida a 50Hz.

O custo central de políticas generativas é o número de avaliações de função (NFE) — cada passo de denoising/integração é um forward pass. DDPM clássico usa dezenas a centenas de passos, inviável a 50Hz. Soluções: samplers rápidos (DDIM), consistency models (geram em 1-2 passos) e destilação de um modelo lento para um veloz. Flow matching com caminhos retos já reduz NFE naturalmente.

A grande escolha de design da cabeça de ação: geração por difusão/flow versus tokens autoregressivos. Difusão é mais expressiva (multimodal contínua) mas exige múltiplos passos. Autoregressivo (RT-2, OpenVLA, FAST) reaproveita o backbone LLM e tem treino simples, mas gera token a token e a discretização pode limitar a fidelidade. Não há vencedor universal — o trade-off é expressividade × latência × simplicidade de integração.

Eixo            Difusão/Flow        Autoregressivo (tokens)
expressividade  alta (multimodal)   média (depende da disc.)
latência        K passos por chunk  1 forward, N tokens
integração      action expert extra reusa o backbone LLM
exemplos        Diffusion Policy,π0 RT-2, OpenVLA, FAST