← Todas as perguntas
Pergunta 11 · 🛡️ Testes de segurança

Você escreve instruções diferentes para modelos menores e para os modelos de ponta?

Resposta curtaSim: com modelos menores, seja bem mais explícito.
Ilustração da pergunta 11: Você escreve instruções diferentes para modelos menores e para os modelos de ponta?

Muita gente troca de modelo para economizar ou ganhar velocidade e estranha quando o resultado piora. Quase sempre o problema não é o modelo, é a instrução, que foi escrita para um modelo que entendia mais coisas sozinho.

A resposta

Os modelos de ponta entendem melhor o que você quis dizer, então dá para deixar mais coisas subentendidas.

Com modelos menores, funciona dar objetivos mais claros, mais contexto e mais direção quando eles empacam.

Num trabalho de segurança, tudo começa pela pergunta específica do cliente: os dados dos clientes estão expostos? Uma trava de pagamento pode ser burlada? Ou é uma análise geral? São trabalhos diferentes, e o pedido e o escopo precisam refletir isso.

O que muda de um modelo para outro

Um modelo de ponta preenche lacunas com bom senso. Se você pede para revisar um contrato, ele já imagina que deve olhar prazos, multas e cláusulas estranhas. Um modelo menor faz exatamente o que está escrito e para por aí.

Por isso a mesma instrução (o prompt, o texto que você manda para a IA) pode dar ótimo resultado num modelo e um resultado raso no outro. O modelo menor não é burro: ele só precisa de mais trilho.

Os três reforços para modelos menores

Primeiro, objetivo claro: diga o que é sucesso, de forma verificável. Em vez de analisar o site, peça para listar páginas que mostram dados de clientes sem pedir login.

Segundo, contexto (as informações de fundo que a IA precisa para entender o caso): que sistema é, para quem é, o que já foi testado. Terceiro, direção quando ele empaca: se repetiu a mesma tentativa duas vezes, mande trocar de caminho e diga qual.

Em segurança, o escopo vem antes

Escopo é o limite combinado do trabalho: o que pode ser testado, como e até onde. Ele nasce da pergunta do cliente, e não da vontade de testar tudo.

Saber se dados de clientes vazam é uma investigação. Saber se a trava de pagamento pode ser burlada é outra. Uma análise geral é uma terceira. Cada uma pede instruções, ferramentas e relatório diferentes, e o modelo menor só acerta o alvo se o escopo estiver escrito nas instruções.

Quando vale usar o modelo menor

Modelos menores costumam ser mais baratos e rápidos. Valem a pena em tarefas repetitivas e bem definidas, em que você consegue descrever o passo a passo. Para tarefas abertas, em que nem você sabe direito o caminho, o modelo de ponta tende a render mais. Teste os dois com a mesma tarefa antes de decidir.

Um exemploUma empresa quer saber se a área do cliente do seu site mostra dados de outra pessoa quando se troca o número do pedido no endereço. Com um modelo de ponta, basta descrever o objetivo. Com um modelo menor, a instrução precisa dizer qual página olhar, quais duas contas de teste usar, o que conta como vazamento e o que fazer se a primeira tentativa não der resultado.
A ideia em uma imagem

Modelo de ponta

  • Pedido curto
  • Entende o subentendido

Modelo menor

  • Objetivo claro
  • Mais contexto
  • Direção quando empaca
Na prática
  1. Escreva a pergunta do cliente em uma frase antes de qualquer instrução.
  2. Transforme essa pergunta em escopo: o que pode, o que não pode e até onde ir.
  3. Defina o que conta como resultado, de forma que dê para conferir.
  4. Acrescente o contexto que o modelo não tem como adivinhar.
  5. Rode a mesma tarefa no modelo menor e no de ponta e compare.
  6. Guarde a instrução que funcionou para reaproveitar.
Erros comuns
Para guardar
Projetos e cursos INEMA sobre isso