🎯 Aprendizado por Imitação e Behavior Cloning

Behavior Cloning (BC) reduz controle a aprendizado supervisionado: dado um dataset de pares (estado, ação) demonstrados por um humano, treina-se uma política π(a|s) que maximiza a verossimilhança das ações observadas. É simples, estável e escala — por isso quase todo VLA (RT-1, OpenVLA, π0) é treinado por BC. A política não precisa de recompensa nem de interação com o ambiente durante o treino, apenas das demonstrações.

# Behavior Cloning — objetivo
#   maximizar  Σ log π(a_t | s_t)   sobre demos do expert
for (obs, action) in demo_loader:
    pred = policy(obs)               # estado → ação
    loss = criterion(pred, action)   # ex: cross-entropy ou flow
    loss.backward(); opt.step()

O calcanhar de Aquiles do BC: o modelo é treinado na distribuição de estados do expert, mas em execução visita estados que ele próprio gerou. Um pequeno erro desvia o robô para um estado ligeiramente fora da distribuição, onde a política é menos confiável, comete um erro maior, e assim por diante — o erro composto (compounding error). Teoricamente, o custo cresce com O(εT²) no horizonte T, contra O(εT) ideal.

DAgger (Dataset Aggregation) ataca o distribution shift coletando rótulos nos estados que a política realmente visita: roda-se o clone, e o expert anota a ação correta nesses estados, agregando ao dataset e retreinando. Isso ensina comportamentos de recuperação. As demos em si vêm de teleoperação — leader-follower, VR ou luvas — cuja qualidade e cobertura definem o teto da política.

Para um mesmo estado, frequentemente há várias ações igualmente boas — contornar um obstáculo pela esquerda ou pela direita. Demonstradores diferentes escolhem caminhos diferentes. Se a política é treinada com MSE, ela aprende a média dessas ações, que pode cair exatamente no obstáculo (mode averaging). Por isso VLAs modernos usam cabeças expressivas — difusão, flow matching ou tokens discretos — capazes de representar distribuições multimodais.

Em imitation learning, dados > arquitetura. O que importa não é volume bruto, mas cobertura (estados raros e de recuperação representados), diversidade (objetos, posições, iluminação, distratores) e consistência. Demos sub-ótimas ou contraditórias confundem a política; demos limpas e variadas generalizam. Um corpus pequeno mas diverso muitas vezes bate um grande mas redundante.

A métrica soberana é o success rate — fração de tentativas que completam a tarefa. Mas um número alto em cenas de treino engana. O teste honesto mede generalização em três eixos: objetos novos, posições/cenas novas e instruções reformuladas. Avalie sempre com N tentativas suficientes e protocolos OOD (out-of-distribution), reportando intervalo de confiança.

# Protocolo de avaliação honesto
seen      = eval(policy, scenes_treino)      # baseline
ood_obj   = eval(policy, objetos_novos)      # generaliza objeto?
ood_pos   = eval(policy, posicoes_novas)     # generaliza cena?
ood_instr = eval(policy, instrucoes_novas)   # generaliza linguagem?
report(success_rate, n=50, ci=0.95)