⏳ O Bitter Lesson

Em 2019, o pesquisador Rich Sutton escreveu um ensaio curto chamado "The Bitter Lesson" (a Lição Amarga). A tese: ao longo de décadas de machine learning (ML), sempre que pesquisadores tentaram embutir o "conhecimento humano esperto" no sistema, eles perderam — no longo prazo — para abordagens simples que só jogavam mais compute no problema. Xadrez, Go, reconhecimento de voz, visão: em todos, a força bruta de cálculo passou por cima das otimizações artesanais.

Por que "amarga"? Porque é humilhante para quem é inteligente. A gente quer que a esperteza humana vença. Mas o motor por trás da lição é simples e implacável: o compute cresce muito rápido e fica mais barato ano após ano. Suas otimizações manuais são fixas; o compute é uma maré que sobe sem parar. Como Pocock resume no vídeo, a lição é "confie que a coisa por baixo vai melhorar" — o modelo vai ficar mais forte sozinho, então não vale tanto a pena enfeitar à mão. Erro comum: achar que a Lição Amarga é uma lei mágica que vale para tudo, sempre, sem limite. Não é — ela fala de uma dimensão (o cérebro do modelo). Guarde essa ressalva: o resto do módulo é justamente sobre onde ela não se aplica.

Da Lição Amarga nasce uma tentação perigosa: "se o modelo vai melhorar sozinho, por que me esforçar? É só esperar a AGI chegar e resolver tudo no meu lugar." Pocock é direto sobre isso no vídeo: "ficar parado esperando a AGI sem fazer nada foi uma ideia muito burra." A frase é forte de propósito — ele mesmo confessa ter flertado com essa atitude e percebeu que estava perdendo tempo.

O problema da espera tem três camadas. Primeira: a AGI pode não chegar quando prometem — promessas de IA atrasam o tempo todo. Segunda: mesmo que chegue um modelo muito melhor, ele não conserta o seu codebase bagunçado nem o seu prompt vago — essas partes (o harness) continuam sendo sua responsabilidade. Terceira, e a mais cruel: enquanto você espera, você não desenvolve nenhuma habilidade. Quem agiu durante a espera chega ao "futuro" com fundamentos afiados; quem só esperou, chega zerado. Esperar parece a opção esperta (deixa a máquina fazer), mas é a que mais custa.

Onde a Lição Amarga é verdadeira: no cérebro do modelo. Treinar um modelo maior, com mais dados e mais GPUs, realmente entrega ganhos que nenhum ajuste manual alcança. É por isso que o David, na entrevista, faz a pergunta óbvia: "por que não os dois? Trocar o motor melhora tudo instantaneamente." Ele está certo — um modelo melhor levanta a maré toda: cada tarefa fica um pouco mais fácil sem você mexer em nada. Negar isso seria burrice.

Onde ela tem limite: o compute melhora o que está dentro do modelo. Ele não melhora o que está fora — seu prompt vago, seu codebase labiríntico, a falta de uma skill, permissões erradas. Esses pedaços do harness não recebem GPUs; eles só melhoram quando você os melhora. E tem um detalhe que vira o jogo, que Pocock usa o tempo todo: um harness bem feito deixa um modelo mais barato entregar o mesmo trabalho — "tenha um codebase mais fácil de mudar e você pode usar um modelo mais burro pra fazer o mesmo serviço". Ou seja: melhorar o harness é a forma de colher o ganho do compute sem pagar pelo modelo mais caro. Os dois lados se somam — não competem.

A saída da armadilha tem nome: fundamentos. Pocock insiste: "as pessoas focam na coisa errada — o brinquedo novo e brilhante — quando deveriam focar no que vem funcionando há 30-40 anos." Organizar código, escrever um pedido claro, escrever testes, documentar bem: nada disso expira quando sai um modelo novo. Pelo contrário — quanto melhor o modelo, mais ele aproveita um harness bem cuidado. Os fundamentos são o ativo que valoriza; o hype do modelo da semana é o que evapora.

Tem mais um motivo prático e poderoso para agir agora: o setup agent-agnostic. Se você construir seus prompts, skills e codebase de um jeito que não amarra a um modelo só, então — quando o modelo melhorar — seu trabalho de hoje continua valendo e fica até melhor. É o melhor dos dois mundos: você colhe o ganho do Bitter Lesson (modelo mais forte chegando) sem ter ficado parado esperando por ele. Pocock fecha com humildade: "não sou um guru/comentarista — estou fazendo o melhor com o que tenho agora." Esse é o espírito: jogar com o que existe hoje, em vez de apostar tudo num amanhã incerto.

Aqui está o coração do módulo, e o ponto onde muita gente entende Pocock errado. Ele não diz "ignore o modelo, só mexa no harness". Ele diz que é 50/50 (e não 90% modelo / 10% otimização, como a maioria pensa). Quando o David provoca — "use os dois: o melhor modelo E o melhor harness" — Pocock concorda no fim: "é 50/50; o problema é pensar pelo modelo primeiro." A ordem importa. Se você começa pelo modelo, perde o foco nos fundamentos: "se eu super-otimizo em torno de um modelo, eu perco o foco nos fundamentos."

Repare na nuance: Pocock admite que ele mesmo pode estar caindo na Lição Amarga ao gastar tanta energia no harness em vez de só confiar que o modelo vai melhorar. Ele não esconde esse risco — e essa honestidade é o que torna o equilíbrio confiável. A síntese prática que sai daí: melhore seu harness agora (você controla, é metade do jogo) e use o melhor modelo disponível (é a outra metade, e vem de graça em ganho quando você troca). O David descreve exatamente essa postura: ativamente melhora o setup todo dia e usa o modelo mais forte que existe. Não é "ou" — é "e". Cair na armadilha é tratar como "ou".

Fechando o módulo de forma prática: a Lição Amarga é real, mas como princípio de treino de IA — não como desculpa para você ficar parado. Sempre que a tentação de "esperar" bater, passe a decisão pelo filtro abaixo. Ele transforma o medo de "estou caindo no Bitter Lesson?" numa checagem objetiva. Copie e cole quando se pegar esperando:

Peguei-me "esperando o modelo melhorar"? Rode o filtro:
[ ] É treino de modelo (interno)? -> ok, isso melhora sozinho; nao e minha tarefa.
[ ] E harness (prompt/skill/codebase/permissao)? -> NAO espera; e comigo, agir HOJE.
[ ] Meu setup esta agent-agnostic? -> se sim, o ganho do modelo futuro ja esta garantido.
[ ] Estou usando o MELHOR modelo disponivel agora? -> use; e a outra metade (50/50).
Regra: pense pelo HARNESS primeiro. E "E" (modelo + harness), nunca "so esperar".