O agente fica “mais esperto” à medida que testa? E tentar mudar um preço é o mesmo que conseguir?

Relatórios de segurança feitos com agentes de IA costumam vir cheios de achados. A pergunta que separa um trabalho sério de um trabalho apressado é simples: isso foi tentado ou foi provado?

Pense num teste autorizado numa loja virtual pequena: o agente tenta comprar um produto mudando o preço no meio do caminho.

Há uma diferença grande entre o agente tentar algo e provar que funcionou. Ver uma tentativa de alterar um preço não prova que o servidor (o computador da loja que registra o pedido de verdade) aceitou a alteração.

Durante os testes o sistema junta informação: uma abordagem que falhou pode revelar um endereço ou detalhe que vale investigar na próxima tentativa. Na prática, ainda vale ter uma pessoa orientando o agente; anote o que funcionou para repetir o teste sem explicar tudo de novo.

Tentativa e prova não são iguais

O agente pode mudar o preço de um produto no meio da compra e mostrar isso no registro. Isso é só uma tentativa. Quem decide é o servidor (o computador da loja que registra o pedido de verdade).

A prova aparece quando o servidor aceitou: o pedido foi gravado com o preço alterado, o valor cobrado foi o errado, o sistema confirmou. Sem essa confirmação, o achado é uma hipótese, não uma falha.

Como conferir se funcionou

Olhe a resposta do servidor, não só o que o agente enviou. Confira o estado final: o pedido no painel da loja, o valor no carrinho depois de recarregar a página, o registro no banco de dados de teste.

Uma boa regra é repetir o teste do zero. Se a falha só aparece uma vez e não se repete, desconfie. Peça ao agente a evidência (print, resposta completa, número do pedido) junto com cada afirmação.

O agente aprende dentro do teste

Dentro de uma mesma sessão, o agente junta informação. Uma tentativa que falhou pode revelar um endereço interno, uma mensagem de erro ou um campo escondido que vale investigar em seguida. Nesse sentido ele fica mais esperto ao longo do teste.

Mas, em geral, esse aprendizado não fica guardado para a próxima vez. Se ninguém anotar o que funcionou, o próximo teste começa do zero.

Por que ainda precisa de alguém

Uma pessoa orientando decide quais pistas valem a pena, corta caminhos inúteis e confere se a prova é real. Também garante que o agente não sai do escopo combinado. Tudo isso só em ambiente próprio ou com autorização por escrito do dono do sistema.

1. Combine o escopo e tenha a autorização por escrito antes de começar.
2. Peça ao agente uma evidência para cada achado, não só a descrição.
3. Confira o resultado no estado final do sistema, como o pedido gravado.
4. Repita do zero os achados importantes para ver se se confirmam.
5. Anote o que funcionou, o que falhou e as pistas que surgiram.
6. Use essas anotações como ponto de partida no teste seguinte.

• Colocar no relatório uma tentativa como se fosse falha confirmada, o que tira a credibilidade do trabalho.
• Confiar só no registro do agente, sem olhar o que o servidor de fato gravou.
• Não registrar o que deu certo, obrigando a explicar tudo de novo a cada teste.

• Tentativa ≠ prova.
• Cada falha pode ensinar algo para a próxima.
• Ainda precisa de uma pessoa orientando.

• Projetoexecucao-longaCritério de pronto verificável e arquivos de estado para o agente não se perder.
• ProjetohindsightMemória de longo prazo: o agente guarda e consolida o que aprendeu.
• Projetosil-loop-rRegistre falhas e aprove os aprendizados antes de virarem regra.