📊 A Evidência

A maior tarefa — medida em quanto tempo um humano levaria — que o modelo completa com cerca de 50% de sucesso. É o jeito da METR (organização independente que avalia capacidade e risco dos modelos de fronteira) de pôr um número em "quão capaz".

Sem uma régua, "a IA melhorou" é opinião. Com horizonte de tarefa, vira uma curva que dá para acompanhar mês a mês.

METR; horizonte de tarefa; taxa de sucesso de 50%; tempo-humano como unidade.

A sequência de medições de mar/2024 a 2026: o horizonte sai de poucos minutos e chega a mais de meio dia de trabalho. Cada degrau é uma medição da suíte, não um palpite.

A forma da curva é o coração do alerta: não é só que sobe, é a velocidade com que sobe.

Progressão; degraus; ritmo de crescimento; tendência observada.

A própria METR avisa: acima de 16 horas, as medições daquela suíte deixavam de ser confiáveis. O "16 h" é o teto do instrumento, não a fronteira do modelo.

É o tipo de detalhe que separa ler o gráfico com cuidado de transformar um número em manchete enganosa.

Limite do teste × limite do modelo; teto de medição; honestidade na leitura.

O auto-aperfeiçoamento recursivo não exige resolver tudo num instante; exige um trabalhador útil por horas e dias seguidos. Horizonte longo é exatamente isso.

Liga a curva ao tema do curso e prepara o terreno para o MirrorCode (Módulo 2.2), onde a IA roda por dias.

Long-horizon; autonomia prolongada; ponte para o RSI.

Mede-se rodando o modelo em muitas tarefas de durações conhecidas e achando onde ele acerta cerca de metade das vezes. Há variância, e perto do topo o teste alcança o próprio limite.

Entender o método protege de dois erros: desprezar a curva como "marketing" e tratá-la como precisão de relógio.

Taxa de 50%; variância; ruído de medição; limite da suíte.

Esticar a reta do gráfico para o futuro não é um destino garantido. A tendência é sólida; a data de chegada é especulação. Os dois não podem ser misturados.

É a postura honesta do curso: levar a evidência a sério sem comprar a profecia que vem grudada nela.

Extrapolação; tendência × destino; sólido vs hype.

Um benchmark (teste padronizado para comparar modelos) feito pela Epoch AI com a METR. A IA recebe um programa em "caixa-preta" — só o executável e a documentação, sem o código-fonte — e precisa reconstruir o software do zero.

É a evidência complementar à curva: não "quanto tempo aguenta", mas "que tamanho de projeto termina".

Benchmark; caixa-preta; reconstrução; Epoch AI + METR.

A pergunta direta do teste: qual o maior software que a IA conclui sem humano? São 25 programas reais — bioinformática, utilitários Unix, criptografia, interpretadores.

"Sozinha" e "projeto real" são as duas palavras que separam demo de capacidade séria.

25 programas reais; tarefa de fim a fim; sem ajuda humana.

Um toolkit de bioinformática, ~16.000 linhas de Go, 40+ comandos. A IA o reimplementou passando 99,95% dos testes, em 14 h e por cerca de US$251 — um humano levaria de 2 a 17 semanas (estimativa da Epoch). As cifras são conforme o vídeo — a verificar.

É o exemplo concreto que torna o benchmark tangível — e onde a separação sólido/verificar mais importa.

gotree; 99,95% dos testes; estimativa de esforço humano; cifra a verificar.

Uma execução rodou de forma contínua, sem humano no comando, por cerca de 19 dias (≈ US$2.600). É a curva do Módulo 2.1 virada realidade: autonomia por dias, não minutos. Cifras conforme o vídeo — a verificar.

Mostra o que "long-horizon" significa na prática e por que isso é a peça que falta para o RSI.

Execução contínua; 19 dias; custo de compute; trabalhador de longo prazo.

O melhor modelo resolve cerca de 56% do benchmark — lidera, mas não substitui engenheiros em tudo. Um ano antes, os melhores ficavam em ~30% em programas mais simples. Nome de versão e cifra: a verificar.

56% é ao mesmo tempo impressionante e incompleto — ler os dois lados é o exercício do módulo.

Solve rate; liderança ≠ perfeição; salto de ~30% para ~56%.

O conceito e o benchmark são sólidos. Versões exatas de modelo e cifras pontuais (251, 2.600, 56%) são claim de fonte única — trate como "a verificar" até checar a fonte primária.

Fecha a trilha com o método: levar a evidência a sério e marcar cada cifra pelo seu grau de certeza.

Sólido × claim; fonte primária; ceticismo produtivo.