1
🎲 O que e Self-Consistency
Self-Consistency e gerar multiplas respostas para a mesma pergunta e ver se elas convergem. A resposta mais frequente e escolhida como a correta.
💡 O Conceito
"Run the prompt several times with slight randomness and choose the answer that most outputs converge on."
Analogia
Como perguntar a mesma coisa para 5 especialistas e escolher a resposta que a maioria deu. Se 4 de 5 concordam, provavelmente estao certos.
2
🛠️ Como Implementar
1. Execute o mesmo prompt 3-5 vezes
2. Use temperature ligeiramente elevada (0.7-1.0) para variacao
3. Compare as respostas e identifique convergencia
4. Escolha a resposta mais comum ou consensual
3
🎯 Quando Usar
✓ Ideal Para
- • Respostas criticas onde erro e custoso
- • Validacao de raciocinio complexo
- • Decisoes de alta consequencia
- • Quando voce suspeita de inconsistencia
✗ Evite Quando
- • Respostas simples/obvias
- • Custo de multiplas chamadas e proibitivo
- • Velocidade e mais importante que precisao
- • Usando reasoning models (ja fazem isso internamente)
4
📊 Exemplo: Problema Matematico
🧮 5 Execucoes
Run 1
42
Run 2
42
Run 3
41
Run 4
42
Run 5
42
Resultado: 4/5 respostas = 42. Alta confianca que 42 esta correto.
5
⚠️ Trade-offs
🚨 Custo e Latencia
- • 5x o custo de uma unica chamada
- • 5x a latencia (ou menos se paralelo)
- • Pode ser redundante com reasoning models modernos
💡 Consideracao
Com reasoning models que pensam por varios minutos internamente, self-consistency pode ser desnecessaria. O modelo ja esta fazendo algo similar durante o reasoning. Teste se realmente necessario.
6
🔧 Exercicio Pratico
📝 Teste Self-Consistency
- Escolha um problema com resposta objetiva
- Execute 5 vezes com temperature 0.8
- Registre todas as respostas
- Calcule a taxa de convergencia
- Compare: a resposta consensual esta correta?
Pergunta para Reflexao
O custo extra valeu a pena nesse caso? Em que cenarios voce usaria isso em producao?
📋 Resumo do Modulo
✓
Self-Consistency - Multiplas execucoes, escolhe resposta consensual
✓
Ideal para - Respostas criticas de alta consequencia
✓
Trade-off - Custo e latencia 5x maiores
✓
Cuidado - Pode ser redundante com reasoning models