Todo mês sai um ranking dizendo qual é o melhor modelo. Nenhum deles conhece a regra de desconto da Horizonte nem o cliente que pede em galão em vez de caixa. A pergunta do gestor é mais estreita: qual configuração faz este trabalho, nestes casos, pelo menor custo por resultado? Nesta aula você compara duas nos mesmos 20 casos e escreve o parecer.
1As quatro faixas de modelo e quando cada uma faz sentido
2Montar 20 casos exploratórios do seu próprio trabalho
3Julgar com a mesma régua e separar o erro crítico
4Escrever um parecer em vez de seguir um ranking
Objetivo: comparar duas configurações nos mesmos casos e escrever um parecer de seleção com erros, custo, limitações e uma alternativa registrada.
01 · Suba a escada só se precisar
Comece pelo degrau mais simples que pode resolver e só suba quando os seus casos mostrarem que precisa. Clique em cada degrau.
Clique em cada bloco do diagrama para ver o que ele faz.
Faixas da matriz de modelo por custo de tarefa do panorama de mercado INEMA (out/2026). As faixas mudam de nome e de preço a cada lançamento; a ordem de decisão, não.
02 · Como comparar sem ranking
Quatro passos. O módulo 3 do método Gestoria: decisão sustentada por casos e restrições do processo, com preços conferidos no dia.
1. Compare configurações
Configuração é o pacote inteiro: modelo e versão, instruções (a constituição do G3), ferramentas e o esforço de raciocínio, quando o fornecedor deixa escolher. Duas configurações com o mesmo modelo podem ter resultados bem diferentes.
Mude uma coisa por vez. Se trocar modelo e instruções juntos, você não sabe qual das duas mudanças fez a diferença.
Na HorizonteA: a Hora atual (faixa média). B: a mesma Hora, mesmas instruções e ferramentas, com o modelo barato que o Rafael testou. Só o modelo muda.
2. Monte 20 casos
Tire os casos de conversas reais, anonimizadas ou fictícias. Misture: a maioria de rotina, alguns de fronteira, alguns com dado faltando e pelo menos dois de risco crítico. Escreva antes o que seria a resposta certa.
São casos exploratórios: servem para escolher, não para provar. O conjunto de validação, com gabarito e mais casos, é do G5.
Os 20 da Hora12 de rotina (pedido de cliente cadastrado), 4 de fronteira (desconto de 5% a 10%, pedido perto de R$ 5 mil), 2 sem dado (cliente sem CNPJ) e 2 críticos (a "observação" do hotel pedindo 70%, um cliente dizendo que já pagou).
3. Mesma régua
Julgue cada saída como correta, aceitável, incorreta ou crítica, sem saber qual configuração a produziu, se der. Anote também o custo e o tempo de cada caso.
Erro crítico não entra na média: conta separado e reprova sozinho. Uma configuração com 19 acertos e um desconto de 70% concedido por ordem escondida do cliente não serve para pedido.
Resultado (fictício)A: 16 corretos, 3 aceitáveis, 1 incorreto, 0 crítico, R$ 0,31 por caso. B: 13 corretos, 3 aceitáveis, 3 incorretos, 1 crítico (aplicou os 70% pedidos na "obs." do hotel), R$ 0,16 por caso.
4. Parecer, não ranking
O parecer diz a decisão para este processo, o porquê nos casos, as limitações, a alternativa e quando refazer o teste. Ele não diz qual modelo é melhor no mundo.
Refaça a comparação quando o fornecedor trocar a versão, quando o preço mudar muito ou quando aparecer um tipo de caso novo. O custo de refazer é baixo: os 20 casos já estão prontos.
Parecer da HoraFica A para pedidos. B vira candidata só para dúvida de catálogo, depois de 20 casos próprios. Alternativa registrada: aberto local, se o volume crescer e alguém assumir a manutenção.
03 · Modelo para copiar: parecer de seleção
Uma página com a tabela dos 20 casos e a decisão. A aba ao lado mostra o parecer da Hora.
Parecer de seleção de configuração
PARECER DE SELEÇÃO · processo <...> · tarefa <...> · data <...> · responsável <nome>
CONFIGURAÇÕES COMPARADAS (mude uma coisa por vez)
A: modelo <nome e versão> · instruções v<...> · ferramentas <...> · esforço <...>
B: modelo <nome e versão> · instruções v<...> · ferramentas <...> · esforço <...>
Preços conferidos no site do fornecedor em <data>
CASOS (20 exploratórios; dados [ ] anonimizados [ ] fictícios)
| # | Categoria (rotina/fronteira/sem dado/crítico) | Resposta certa | A | B |
|---|---|---|---|---|
| 1 | <...> | <...> | correto/aceitável/incorreto/CRÍTICO | <...> |
RESULTADO A B
Corretos <n> <n>
Aceitáveis <n> <n>
Incorretos <n> <n>
CRÍTICOS <n> <n> (um crítico reprova a configuração para esta tarefa)
Custo por caso R$ <...> R$ <...>
Tempo médio <s> <s>
DECISÃO: <configuração> para <tarefa>, porque <casos que decidiram>
LIMITAÇÕES: <20 casos não provam; o que ficou de fora>
ALTERNATIVA REGISTRADA: <outra configuração e em que condição>
REFAZER O TESTE QUANDO: <troca de versão / preço / caso novo / data>
Prompt · contestar o parecer
Você é o revisor que vai contestar um parecer de seleção de modelo
de IA antes que ele seja aprovado. Não escolha o modelo: aponte
fraquezas.
1. Os 20 casos representam o trabalho real? Que tipo de caso falta?
2. Mais de uma coisa mudou entre as configurações?
3. Algum erro crítico ficou escondido como "incorreto"?
4. O custo considera o retrabalho que os erros vão gerar?
5. A alternativa registrada é viável? O que a impediria?
Parecer:
"""<cole>"""
Simulação: exemplo ilustrativo
Parecer · Hora · pedido pelo WhatsApp · Horizonte, empresa fictícia de estudo · responsável: Patrícia · teste: Rafael
A (faixa média, atual): 16 corretos, 3 aceitáveis, 1 incorreto, 0 crítico · R$ 0,31 por caso · 9 s.
B (barata, mesmas instruções): 13 corretos, 3 aceitáveis, 3 incorretos, 1 crítico · R$ 0,16 por caso · 4 s.
Crítico de B: caso 19, a lista do hotel com uma "obs." escondida pedindo 70%, e B aplicou (a falha F6 do laboratório).
Decisão: A para pedidos. Os 3 incorretos de B (unidade errada, galão em vez de caixa) virariam retrabalho na separação: a conta da aula 1 já mostrou R$ 7,51 contra R$ 6,68 por pedido.
Limitações: 20 casos exploratórios, só de outubro; nenhum caso de cliente novo com urgência.
Alternativa: B para dúvida de catálogo, depois de 20 casos de dúvida; aberto local se o volume dobrar e o Rafael assumir a manutenção.
Refazer: quando o fornecedor trocar a versão de A, ou em janeiro de 2027.
Casos só fáceis. Vinte pedidos de rotina fazem qualquer configuração parecer boa. Tem de haver fronteira, dado faltando e crítico.
Crítico dentro da média. "95% de acerto" com um desconto indevido escondido não é aprovação.
Duas mudanças de uma vez. Trocou modelo e instruções: o parecer não sabe dizer o que funcionou.
Ranking como argumento. "Está em primeiro no ranking" não substitui nenhum dos seus 20 casos.
Sem data de validade. Parecer sem "refazer quando" vira verdade eterna sobre um produto que muda em semanas.
04 · Prática
O parecer da Hora treina a leitura dos casos; o seu decide uma configuração de verdade.
1 · O parecer da Hora
25 min
Leia as conversas c-201, c-202 e c-203 do laboratório e escreva, para cada uma, a categoria e a resposta certa (elas entram entre os 20 casos). Depois preencha o parecer com os resultados de A e B do passo 3 e a conta da aula 1. Rode o prompt de contestação e responda a cada ponto em uma linha.
Pronto quando: o parecer tem as duas configurações com uma só diferença, as três conversas classificadas com a resposta certa, os quatro números de cada configuração com o crítico separado, a decisão justificada por casos, uma limitação, uma alternativa e a data para refazer.
2 · Duas configurações no seu processo
90 min
Escolha uma tarefa do seu processo. Separe 20 casos (anonimizados) com a resposta certa escrita antes. Rode as duas configurações que você tem à mão (a ferramenta atual e uma alternativa, ou a mesma com outro modelo), sozinho ou com a TI. Julgue com a mesma régua e escreva o parecer.
Pronto quando: há 20 casos com categoria e resposta certa, pelo menos 2 de fronteira e 2 críticos, as duas configurações julgadas caso a caso, os críticos contados à parte, o custo por caso e o parecer com decisão, limitação, alternativa e data para refazer.
5 perguntas. A explicação aparece depois da sua tentativa.
Pergunta 1 de 5
O Carlos leu que um modelo novo ficou em primeiro num ranking e quer trocar a Hora. O que você responde?
Correto
O ranking mede tarefas genéricas. Os seus 20 casos medem a regra de desconto, o pedido em galão e a ordem escondida. Recusar a troca sem testar é tão ruim quanto trocar sem testar.
Não é essa
O ranking mede tarefas genéricas. Os seus 20 casos medem a regra de desconto, o pedido em galão e a ordem escondida. Recusar a troca sem testar é tão ruim quanto trocar sem testar.Rever: Como comparar sem ranking
Pergunta 2 de 5
Uma terceira configuração acertou 19 de 20 casos, mas aplicou um desconto de 70% pedido numa "observação" escondida do cliente. Ela serve para pedidos?
Correto
Um crítico na amostra pequena indica que vai acontecer de novo no volume real. A média não pode esconder o caso que mais custa.
Não é essa
Um crítico na amostra pequena indica que vai acontecer de novo no volume real. A média não pode esconder o caso que mais custa.Rever: Como comparar sem ranking
Pergunta 3 de 5
Na comparação, o Rafael trocou o modelo e reescreveu as instruções da Hora ao mesmo tempo. Qual o problema?
Correto
Mude uma coisa por vez. Se precisar mudar as duas, compare em duas rodadas.
É o primeiro degrau da escada. Copiar um pedido aprovado para o ERP não precisa de alguém que pense; precisa de alguém que não erre a cópia.
Não é essa
É o primeiro degrau da escada. Copiar um pedido aprovado para o ERP não precisa de alguém que pense; precisa de alguém que não erre a cópia.Rever: Suba a escada só se precisar
Pergunta 5 de 5
Por que o parecer tem uma data para refazer o teste?
Correto
O parecer é sobre uma configuração numa data. Mudou a versão, o preço ou o tipo de caso, os 20 casos rodam de novo, o que custa pouco porque já estão prontos.
Não é essa
O parecer é sobre uma configuração numa data. Mudou a versão, o preço ou o tipo de caso, os 20 casos rodam de novo, o que custa pouco porque já estão prontos.Rever: Como comparar sem ranking
Teste concluído
Você acertou {a} de {n}. Acertando todas, a aula é marcada como concluída.
Escolha uma alternativa. A explicação aparece depois da sua tentativa.
06 · Resumo
EscadaSem modelo, barato, faixa média, ponta. Aberto local quando custo fixo e dado em casa pesam.
Mesmos 20 casosDo seu trabalho, com fronteira, dado faltando e críticos.
Crítico à parteUma configuração com crítico não serve para aquela tarefa.
Parecer com validadeDecisão, limitação, alternativa e data para refazer.
