📖 Visão Geral
LLMs não são infalíveis. Este módulo desenvolve pensamento crítico para usar IA com responsabilidade. Você aprenderá a: detectar alucinações (invenções), identificar vieses estruturais, avaliar qualidade com Framework CRAFT e usar detectores de IA.
- Identificar e corrigir alucinações em outputs de LLMs
- Reconhecer 5 tipos de vieses em IA (cultural, temporal, linguístico, etc)
- Aplicar Framework CRAFT para avaliar confiabilidade de respostas
- Usar detectores de IA e interpretar resultados criticamente
📚 Conteúdo Detalhado
🎯 Alucinações - O Que São e Como Detectar
Alucinação = Quando LLM inventa dados, referências ou fatos com confiança absoluta. É o risco #1 de IA na educação (alunos podem aprender informações falsas).
Tipos de Alucinação:
1. Alucinação Factual
Invenção de dados ou eventos
Pergunta: "Qual livro Machado de Assis publicou em 1920?"
Alucinação: "Em 1920 publicou 'A Última Crônica'" ❌
Realidade: Machado morreu em 1908 ✅
2. Alucinação de Referência
Citação de fontes inexistentes
Output: "Segundo estudo de Silva et al. (2024) na revista Nature..."
Problema: Artigo não existe ❌
3. Alucinação de Conceito
Confusão entre conceitos similares
Pergunta: "Explique fotofosforilação"
Alucinação: [Mistura fotossíntese + fosforilação incorretamente]
5 Técnicas para Detectar Alucinações:
- Validação cruzada: Pergunte para 2-3 LLMs diferentes. Respostas divergentes = sinal de alerta
- Peça fontes: Sempre solicite referências. Se LLM hesita ou inventa, é alucinação
- Verifique datas: Cheque se eventos/publicações são cronologicamente possíveis
- Busca manual: Para informações críticas, confirme com Google Scholar/Wikipedia
- Ceticismo com especificidade: Quanto mais específico (nomes, datas, números), maior risco
⚖️ Vieses de LLMs - Limitações Estruturais
Viés = Tendência sistemática do LLM favorecendo certos grupos/perspectivas. Não é "erro", mas reflexo dos dados de treinamento (majoritariamente inglês, ocidental, masculino).
5 Tipos de Viés em LLMs:
1️⃣ Viés Cultural
Favorece cultura anglo-saxã. Ex: "successful CEO" → descreve homem branco
2️⃣ Viés Temporal
Dados até 2023. Não sabe eventos recentes (eleições 2024, descobertas científicas)
3️⃣ Viés Linguístico
Melhor em inglês. Português tem mais erros/alucinações
4️⃣ Viés de Gênero
"Enfermeiro" → assume mulher | "Engenheiro" → assume homem
5️⃣ Viés de Consenso
Favorece visões majoritárias. Silencia perspectivas minoritárias
Como Mitigar Vieses:
- ✅ Prompt explícito: "Considere perspectivas de diferentes culturas/gêneros"
- ✅ Diversifique fontes: Use múltiplos LLMs + busca humana
- ✅ Educação crítica: Ensine alunos a identificar vieses
- ✅ Validação local: Adapte outputs para contexto brasileiro
🔍 Framework CRAFT - Avaliar Qualidade
CRAFT = Framework de 5 critérios para avaliar confiabilidade de outputs de IA antes de usar em aula.
C - Completeness (Completude)
A resposta cobre todos os aspectos necessários?
✅ Bom: Responde pergunta + contexto + exemplos | ❌ Ruim: Resposta superficial
R - Relevance (Relevância)
O conteúdo é pertinente ao objetivo pedagógico?
✅ Bom: Foco no que foi pedido | ❌ Ruim: Divaga em tópicos tangenciais
A - Accuracy (Precisão)
Informações são factuais e verificáveis?
✅ Bom: Fatos corretos + fontes | ❌ Ruim: Alucinações ou erros conceituais
F - Fairness (Imparcialidade)
Evita vieses e representa múltiplas perspectivas?
✅ Bom: Visões diversas | ❌ Ruim: Favorece um grupo/perspectiva
T - Tone (Tom)
Linguagem é apropriada para público-alvo?
✅ Bom: Adequado ao nível/idade | ❌ Ruim: Muito técnico ou infantilizado
Sistema de Pontuação:
- • Atribua 0-2 pontos para cada critério (0=ruim, 1=aceitável, 2=excelente)
- • Pontuação total: 0-10 pontos
- • 8-10: Pronto para usar ✅
- • 5-7: Requer edição 🟡
- • 0-4: Refazer ou descartar ❌
🤖 Detectores de IA - Ferramentas e Eficácia
Detectores de IA tentam identificar se texto foi escrito por humano ou LLM. Mas têm limitações graves: 25-40% de falsos positivos (marcam humanos como IA).
Ferramentas Principais (Nov 2025):
GPTZero (Gratuito)
Precisão: ~70% | Melhor para textos longos (500+ palavras)
Turnitin AI Detector (Pago)
Precisão: ~75% | Integrado a LMS institucionais
Originality.AI (Pago)
Precisão: ~80% | Melhor para inglês, ruim em português
ZeroGPT (Gratuito)
Precisão: ~65% | Muitos falsos positivos
Problemas dos Detectores:
- ❌ Falsos positivos: 25-40% de textos humanos são marcados como IA
- ❌ Viés contra não-nativos: Alunos ESL (inglês como 2ª língua) são mais detectados
- ❌ Fácil de enganar: Parafrasear ou traduzir texto burla detector
- ❌ Piora com edição: Texto gerado por IA + editado por humano = indetectável
Recomendação Pedagógica:
NÃO use detectores como prova punitiva
- ✅ USO CORRETO: Detector acusa → Conversar com aluno (não punir automaticamente)
- ✅ Foco em processo: Avaliar rascunhos, diário de bordo, apresentação oral
- ✅ Redesenhar avaliações: Menos textos escritos, mais atividades presenciais
- ❌ EVITAR: Zero automático baseado em detector (pode ser injusto)
📦 Recursos do Módulo
📹 Videoaulas (3h)
- • Alucinações explicadas (45 min)
- • Vieses de LLMs (50 min)
- • Framework CRAFT tutorial (40 min)
- • Detectores de IA - Análise crítica (45 min)
📄 Leituras (4h)
- • Pesquisa sobre alucinações (60 min)
- • Vieses em IA - Paper UNESCO (60 min)
- • Guia CRAFT completo (45 min)
- • Detectores: Eficácia e ética (55 min)
💬 Práticas (4h)
- • Caça a alucinações (60 min)
- • Identificar vieses em outputs (45 min)
- • Aplicar CRAFT em 10 textos (90 min)
- • Testar 4 detectores (45 min)
✅ Avaliação (1h)
- • Quiz de pensamento crítico (30 questões)
- • Análise de caso: Texto com alucinações
- • Proposta de política de IA na escola