Pergunta 11 · 🛡️ Testes de segurança
Você escreve instruções diferentes para modelos menores e para os modelos de ponta?

Muita gente troca de modelo para economizar ou ganhar velocidade e estranha quando o resultado piora. Quase sempre o problema não é o modelo, é a instrução, que foi escrita para um modelo que entendia mais coisas sozinho.
Os modelos de ponta entendem melhor o que você quis dizer, então dá para deixar mais coisas subentendidas.
Com modelos menores, funciona dar objetivos mais claros, mais contexto e mais direção quando eles empacam.
Num trabalho de segurança, tudo começa pela pergunta específica do cliente: os dados dos clientes estão expostos? Uma trava de pagamento pode ser burlada? Ou é uma análise geral? São trabalhos diferentes, e o pedido e o escopo precisam refletir isso.
O que muda de um modelo para outro
Um modelo de ponta preenche lacunas com bom senso. Se você pede para revisar um contrato, ele já imagina que deve olhar prazos, multas e cláusulas estranhas. Um modelo menor faz exatamente o que está escrito e para por aí.
Por isso a mesma instrução (o prompt, o texto que você manda para a IA) pode dar ótimo resultado num modelo e um resultado raso no outro. O modelo menor não é burro: ele só precisa de mais trilho.
Os três reforços para modelos menores
Primeiro, objetivo claro: diga o que é sucesso, de forma verificável. Em vez de analisar o site, peça para listar páginas que mostram dados de clientes sem pedir login.
Segundo, contexto (as informações de fundo que a IA precisa para entender o caso): que sistema é, para quem é, o que já foi testado. Terceiro, direção quando ele empaca: se repetiu a mesma tentativa duas vezes, mande trocar de caminho e diga qual.
Em segurança, o escopo vem antes
Escopo é o limite combinado do trabalho: o que pode ser testado, como e até onde. Ele nasce da pergunta do cliente, e não da vontade de testar tudo.
Saber se dados de clientes vazam é uma investigação. Saber se a trava de pagamento pode ser burlada é outra. Uma análise geral é uma terceira. Cada uma pede instruções, ferramentas e relatório diferentes, e o modelo menor só acerta o alvo se o escopo estiver escrito nas instruções.
Quando vale usar o modelo menor
Modelos menores costumam ser mais baratos e rápidos. Valem a pena em tarefas repetitivas e bem definidas, em que você consegue descrever o passo a passo. Para tarefas abertas, em que nem você sabe direito o caminho, o modelo de ponta tende a render mais. Teste os dois com a mesma tarefa antes de decidir.
Modelo de ponta
- Pedido curto
- Entende o subentendido
Modelo menor
- Objetivo claro
- Mais contexto
- Direção quando empaca
- Escreva a pergunta do cliente em uma frase antes de qualquer instrução.
- Transforme essa pergunta em escopo: o que pode, o que não pode e até onde ir.
- Defina o que conta como resultado, de forma que dê para conferir.
- Acrescente o contexto que o modelo não tem como adivinhar.
- Rode a mesma tarefa no modelo menor e no de ponta e compare.
- Guarde a instrução que funcionou para reaproveitar.
- Usar no modelo menor o mesmo prompt curto do modelo de ponta, porque ele não preenche o que faltou.
- Começar a testar sem escopo escrito, o que mistura trabalhos diferentes e confunde o relatório.
- Deixar o agente insistir no mesmo caminho, gastando tempo e dinheiro sem avanço.
- Modelo de ponta: pode subentender.
- Modelo menor: objetivo, contexto e direção.
- O escopo nasce da pergunta do cliente.