🪞 O que é o MirrorCode
O MirrorCode é um teste criado pela Epoch AI em parceria com a METR. A ideia é simples e cruel: entregam à IA um programa pronto — só o executável e a documentação — e pedem que ela reconstrua o software do zero, sem nunca ver o código original. Depois, comparam a reconstrução com a suíte de testes do programa real. É a evidência que falta à curva do módulo anterior: não "por quanto tempo a IA trabalha", mas "que tamanho de projeto ela leva até o fim".
🆕 Novo aqui? Dois termos antes de seguir
- Benchmark: um teste padronizado que todo mundo roda igual, para comparar modelos de forma justa — como uma prova com o mesmo gabarito para todos os candidatos.
- Caixa-preta: quando você só tem o que entra e o que sai de um sistema (o executável + a documentação), mas não o código-fonte por dentro. Reconstruir uma caixa-preta é olhar o comportamento e reescrever o que produz aquele comportamento.
🎯 A pergunta brutal
A pergunta por trás do benchmark é direta: qual o maior projeto de software que a IA termina sozinha? "Sozinha" e "termina" são as palavras que pesam — não é completar um trecho, é entregar o programa funcionando de ponta a ponta. Para responder, o MirrorCode usa 25 programas reais, e não brinquedos de laboratório.
Os 25 programas vêm de domínios diferentes de propósito: um modelo bom em um só não infla o placar. O número final é "de quantos a IA deu conta sozinha".
Bioinformática
ferramentas que processam dados de biologia.
Utilitários Unix
programas de linha de comando clássicos.
Criptografia
onde um detalhe errado quebra tudo.
Interpretadores
software que executa outra linguagem.
🌳 O caso gotree
O exemplo que dá rosto ao benchmark é o gotree, um toolkit de bioinformática. Não é pequeno: cerca de 16.000 linhas de Go e mais de 40 comandos. A IA o reconstruiu a ponto de passar quase todos os testes — e fez isso numa fração do tempo e do custo que um humano levaria.
gotree — o placar da reconstrução
Os números são impressionantes — e por isso mesmo merecem checagem na fonte primária antes de virarem manchete.
💡 Por que 99,95% e não 100%?
Reconstruir software grande e bater quase todos os testes mostra capacidade real. Mas aquela fração que falta costuma ser exatamente onde mora o caso difícil — o detalhe raro que um humano experiente pegaria. "Quase tudo" não é "tudo", e a diferença importa em software que vai para produção.
⏳ A execução de 19 dias
O dado que mais conecta esta trilha ao alerta é o tempo de execução: uma das runs rodou de forma contínua, sem humano no comando, por cerca de 19 dias (≈ US$2.600 de compute). É a curva do Módulo 2.1 saindo do gráfico e virando prática: não um pico de minutos, mas autonomia sustentada por dias.
Começa a tarefa
A IA recebe a caixa-preta e o objetivo, e abre o trabalho sem um humano definindo cada passo.
Roda por dias
Escreve, testa, corrige e tenta de novo — o loop do código fechando milhares de vezes, sozinho.
Entrega ao fim de ~19 dias
O que era "agente de horas" vira "trabalhador de longo prazo" — a peça que faltava para o RSI ser plausível. (Cifras conforme o vídeo — a verificar.)
🔗 Por que isso importa pro alerta
Auto-aperfeiçoamento recursivo não precisa de um gênio instantâneo. Precisa de um trabalhador que aguente projetos de P&D que levam dias. Uma run de 19 dias sem supervisão é a demonstração concreta de que essa autonomia prolongada já existe — ainda que cara e imperfeita.
📊 56% de solve rate
O melhor modelo resolve cerca de 56% do MirrorCode — lidera o ranking, mas está longe de gabaritar. E o salto é o que assusta: um ano antes, os melhores ficavam perto de 30%, e em programas mais simples. A leitura honesta segura as duas pontas: é um avanço grande, e não é "a IA já substitui engenheiros". (Nome de versão e a cifra de 56% são conforme o vídeo — a verificar.)
🆕 Novo aqui? "Solve rate"
É a fração das tarefas do benchmark que o modelo resolve por completo. 56% de solve rate quer dizer que, de todos os programas do teste, ele terminou com sucesso pouco mais da metade. Não é "56% de cada programa" — é "pouco mais da metade dos programas, inteiros".
O salto em um ano (valores a verificar)
Recriação ilustrativa, não screenshot. O ponto é a inclinação, não o decimal exato.
✓ Leitura correta
- ✓"Houve um salto grande de capacidade em um ano."
- ✓"A IA já termina sozinha mais da metade de projetos reais."
- ✓"A tendência merece atenção informada."
✗ Leitura exagerada
- ✗"A IA já substitui engenheiros em tudo."
- ✗"56% é o número final e definitivo."
- ✗"Os 44% que faltam são detalhe."
⚖️ Sólido vs hype no MirrorCode
Fechando a trilha com o método do curso: o conceito e o benchmark são sólidos — existem, são públicos, medem algo real. Já as cifras exatas e os nomes de versão são claim de fonte única: trate como "a verificar" até bater na fonte primária. Misturar os dois é o erro que o curso inteiro tenta evitar.
🟢 Sólido (categoria real)
- ✓O MirrorCode existe (Epoch AI + METR) e mede reconstrução de software.
- ✓A IA reconstrói projetos reais grandes a partir de caixa-preta.
- ✓Houve um salto claro de capacidade em ~1 ano.
- ✓Autonomia por dias (long-horizon) já é demonstrável.
🟡 A verificar (claim de fonte única)
- ⚠O número exato "56% de solve rate".
- ⚠As cifras do gotree: 99,95%, 14 h, US$251.
- ⚠Os ~19 dias e ~US$2.600 da run contínua.
- ⚠Nomes/versões exatas do modelo que liderou.
⌨️ Exemplo copy-run: vire o cético
Objetivo: usar um chatbot para gerar as perguntas que você faria à fonte primária antes de acreditar nos números — treina o reflexo de checar em vez de compartilhar.
Como verificar: as 5 perguntas precisam questionar amostragem, custo e a definição de "sozinho". Se vierem genéricas ("é confiável?"), reescreva o prompt pedindo perguntas específicas e testáveis.
Auto-checagem (opcional): no MirrorCode, o que é SÓLIDO e o que é A-VERIFICAR?
🎯 Resumo do módulo
Próxima trilha:
Trilha 3 — Segurança e 2028: o que acontece quando a própria medição quebra, e a corrida que define os cenários do fim da década.
