Pergunta 09 · 🛡️ Testes de segurança
Qual a diferença entre um agente de segurança e um modelo sem censura com algumas ferramentas?
É comum achar que basta um modelo de IA sem travas para ter uma ferramenta de segurança poderosa. Na prática, o que faz o trabalho render é o sistema montado em volta do modelo.
“Modelo sem censura” é um modelo de IA em que alguém removeu as travas que o fazem recusar pedidos arriscados. Só isso não o transforma numa ferramenta de segurança: o software em volta do modelo define quais ferramentas ele pode usar, o que ele memoriza, como dá seguimento a uma descoberta e o que tenta quando uma abordagem falha.
Um sistema feito sob medida para testes de segurança dá ao modelo um fluxo de trabalho muito mais útil que uma janela genérica de bate-papo. Palestras de conferências de segurança, como a Black Hat, são uma boa base para ver como esses agentes e suas ferramentas são montados.
Por isso vale separar sempre o modelo da estrutura que o envolve: o mesmo modelo dá resultados muito diferentes conforme o sistema é construído.
O que é o harness
Harness (arreio, em inglês) é o software que envolve o modelo. Ele entrega as ferramentas, guarda o que já foi feito, decide o próximo passo e põe limites. O modelo sugere ações; o harness executa, confere o resultado e devolve ao modelo.
Sem isso, o modelo é só uma conversa. Ele pode explicar uma técnica, mas não testa nada nem lembra o que já tentou.
As quatro peças
Ferramentas: scanners (programas que varrem um sistema em busca de falhas conhecidas), navegador, terminal, cada uma liberada para uma tarefa. Memória: o registro do que foi visto, dos alvos e das hipóteses. Seguimento: ao achar algo, o sistema aprofunda nisso em vez de pular para outro assunto. Plano B: quando uma abordagem falha, há uma lista de alternativas, e não uma repetição cega.
Ferramentas costumam ser ligadas por MCP (um padrão para conectar ferramentas externas a modelos de IA) ou por scripts próprios.
Remover travas não basta
Um modelo sem censura só deixa de recusar pedidos. Ele não ganha método, memória nem acesso às ferramentas. Em muitos casos um modelo comum, num sistema bem feito e com o escopo claro, rende mais. Quem usa um modelo sem travas também precisa pôr os limites por conta própria: o que pode ser tocado, até onde ir e quando parar.
Como avaliar um sistema
Ao comparar ferramentas, troque a pergunta "qual modelo usa?" por estas: que ferramentas ele aciona, como guarda o progresso, o que faz quando um passo falha, como respeita o escopo e se deixa um registro do que fez. Palestras de conferências de segurança, como a Black Hat, mostram exemplos dessas arquiteturas.
- Defina por escrito o escopo e os sistemas autorizados.
- Escolha as ferramentas que o agente poderá usar e libere só essas.
- Crie um registro persistente de achados e tentativas.
- Escreva o que o agente deve tentar quando um passo falhar.
- Compare sistemas pela estrutura, não só pelo nome do modelo.
- Achar que tirar as travas do modelo cria uma ferramenta de segurança.
- Dar acesso amplo a ferramentas sem limite de escopo.
- Avaliar um agente sem olhar o registro do que ele de fato executou.
- Modelo ≠ sistema.
- Ferramentas, memória e estratégia fazem a diferença.
- Mesmo modelo, resultados diferentes.