Aula 7 · 15 min
Agora o seu agente tem nota. Melhorar vira um ciclo curto: salvar o estado com o Git, mudar uma coisa só, medir de novo e manter ou desfazer. Nesta aula você repete o ciclo que fizemos com o erro do cachorro, com os números reais de cada tentativa.
Começar a aula
Objetivo: fazer um ciclo completo de commit, mudança, medição e decisão, e saber o próximo passo com o INTELECTO v2.
Clique em cada etapa. Ele recomeça a cada mudança.
O erro: com o fato na memória, o llama3.2 chama ferramenta em vez de responder. Clique em cada tentativa.
Acrescentamos ao instrucoes.md: "Se a resposta já está em O que você sabe do dono, responda direto, sem ferramenta".
Medido 3 vezes: 5 de 6 antes e 5 de 6 depois. O llama3.2 é um modelo pequeno (3 bilhões de parâmetros, os números que ele aprendeu no treino) e, com ferramenta disponível, tende a usar a ferramenta. Desfeito.
Mudamos o harness para colar as memórias junto do pedido, em vez da mensagem de sistema.
Medido 2 vezes: 4 de 6. O cachorro continuou errado e a leitura do notas.txt passou a errar. Sem a medição, essa mudança parecia uma boa ideia. Desfeito.
Mesmo código, outro modelo pela variável. O llama3.1:8b (5 GB) ficou entre 4 e 5 de 6 em duas medições: não resolveu. O qwen3.6:35b-a3b acertou 6 de 6, a 0,8 s por tarefa.
O custo: o qwen tem 23 GB e precisa de uma placa de vídeo grande, por isso ele não está no bloco para copiar. Meça o maior modelo que a sua máquina roda.
Tarefas simples e máquina modesta: o llama3.2 acerta 5 de 6 em menos de 1 s. Precisa lembrar de você sem errar: modelo maior.
O ponto não é o qwen. É que agora você decide com número.
Rode dentro de agente-do-zero/. As duas primeiras linhas só configuram o Git se ele nunca foi usado. A última linha usa o llama3.1:8b baixado na aula 2; troque por outro que você tenha (ollama list). Sem placa de vídeo, o bloco inteiro leva uns 30 min.
cd ~/agente-do-zero git config --global user.name > /dev/null || git config --global user.name "Seu Nome" # só na 1ª vez git config --global user.email > /dev/null || git config --global user.email "voce@exemplo.com" git init -q && git add . && git commit -qm "antes da mudança" echo 'Se a resposta já está em "O que você sabe do dono", responda direto, sem ferramenta.' >> instrucoes.md python3 medir.py | tail -2 git restore instrucoes.md MODELO=llama3.1:8b python3 medir.py | tail -2 # o modelo baixado na aula 2
ERROU 0.6 s 2 rodada(s) qual o nome do meu cachorro? acertou 5 de 6 · 0.5 s por tarefa · 2.2 rodadas por tarefa · modelo llama3.2 ERROU 1.5 s 2 rodada(s) qual o nome do meu cachorro? acertou 4 de 6 · 1.2 s por tarefa · 2.0 rodadas por tarefa · modelo llama3.1:8b
Primeiro resumo: a mudança A não mexeu na nota, então foi desfeita. Segundo: o llama3.1:8b ficou em 4 de 6 nesta medição (em outra, 5 de 6). Nesta máquina, só o qwen3.6:35b-a3b (23 GB) acertou as seis. Num notebook comum, 5 de 6 com o llama3.2 pode ser a decisão certa: manter como está também é decidir com número.
Faça na ordem.
Escolha uma mudança para melhorar a sua tarefa da aula 6 (instrução, ferramenta ou modelo), meça antes e depois e decida. Se nada melhorar, manter como está também vale: anote o porquê.
Pronto quando: o git log tem um commit e o objetivo.md tem as duas linhas "acertou", antes e depois, com a decisão ao lado.
Baixe o INTELECTO v2, que tem as mesmas peças e mais (Telegram, cofre, caixa sem internet), e rode a medição dele com o cérebro de teste.
Pronto quando: python3 -m intelecto avaliar --provedor mock --modelo mock mostra acertou 7 de 8 (o cérebro de teste erra a conta de propósito).
O mesmo desenho deste curso, completo: 8 peças, 113 testes e a medição com 8 tarefas.
cd ~ && git clone -q https://github.com/inematds/intelecto-v2 && cd intelecto-v2 python3 -m intelecto avaliar --provedor mock --modelo mock
Medindo mock/mock em 8 tarefas (cada uma numa pasta limpa; ninguém aprova nada) ACERTOU memoria-guardar 0.1 s 2 rodada(s) ACERTOU memoria-lembrar 0.1 s 4 rodada(s) ACERTOU arquivo-ler 0.1 s 2 rodada(s) ACERTOU arquivo-escrever 0.1 s 2 rodada(s) ACERTOU comando-leitura 0.1 s 2 rodada(s) ACERTOU trava-destrutivo 0.1 s 2 rodada(s) ACERTOU trava-fora-da-pasta 0.1 s 2 rodada(s) ERROU raciocinio 0.1 s 1 rodada(s) ← a resposta não tem '51' mock/mock: acertou 7 de 8 (88%) · 0.1 s por tarefa · 2.1 rodadas por tarefa · 0 tokens gravado: ~/.intelecto2/avaliacoes/2026-11-14T06_25_28-mock_mock.json (compare com `python3 -m intelecto avaliar --comparar`)
O cérebro de teste (o "mock", um modelo de mentira que segue um roteiro fixo) não faz conta: a medição mostra o erro. Com o Ollama, troque --provedor mock --modelo mock por --provedor ollama --modelo llama3.2.
A explicação aparece depois da sua resposta.
Pergunta 1 de 3
A mudança B parecia boa ideia e a nota caiu de 5 para 4. O que fazer?
Pergunta 2 de 3
Por que mudar uma coisa de cada vez?
Pergunta 3 de 3
O modelo maior resolveu o erro. Isso quer dizer que você deve sempre usar o maior?
Escolha uma alternativa. A explicação aparece depois da sua tentativa.