Tema

Tamanho do texto

Fonte

Entrelinha

MÓDULO 3.2

🎚️ Esforço, falhas e a cauda

Esforço (effort) é a primeira alavanca de custo que troca capacidade por dinheiro. Depois vem a política de "rodar barato e refazer só o que falhou". E a lição mais contra-intuitiva: a conta é decidida pelas tarefas difíceis, não pelas típicas.

6
Tópicos
45
Minutos
Intermediário
Nível
Prática
Tipo
0 de 60%
1

🎛️ Esforço é o primeiro botão

No Fable 5.1 o raciocínio interno está sempre ligado. O que você controla é a profundidade, com o parâmetro de esforço. Ele escala quanto o modelo pensa e quantas ferramentas chama. Custa saída (que é a parte cara), mas não muda o modelo.

NívelQuando faz sentidoEfeito típico
lowSubagentes, tarefas simples, alto volume, latência importaMenos chamadas de ferramenta, menos preâmbulo, confirmações curtas
mediumPasso de economia onde a qualidade se mantémEm pesquisa, igualou o padrão a 70–85% do custo
high (padrão)Trabalho sensível a inteligênciaEquilíbrio entre qualidade e eficiência
xhighCódigo e agentes de longo horizonte (padrão do Claude Code)Mais uso de ferramentas, mais profundidade
maxQuando acertar importa mais que custarSó depois de medir que há ganho acima de xhigh
1 Ganhos grátis cache, higienede tokens 2 Esforço primeiro trade-off 3 Orçamento de tarefa teto advisório 4 Trocar de modelo por último, medindo Ordem das alavancas de custo, da mais barata para a mais arriscada
O que olhar: Esforço é o primeiro passo que troca qualidade por custo. Modelo é o último, porque muda o teto de inteligência e reseta o cache.

⚠️ Regra que não pode ser quebrada

Varra o esforço no modelo atual antes de descer de modelo. Se em esforço baixo a tarefa ainda passa, aí sim desça um degrau, redefina o esforço para o padrão daquele modelo e varra de novo. Uma alavanca por vez.

2

📉 Curva plana: pesquisa e conhecimento

lowmediumhigh (padrão) relativo ao padrão (100) -1 a -3igual100 qualidade 50–66%70–85%100% custoCurva quase plana de pesquisa e conhecimento: custo cai muito, qualidade quase não cai
O que olhar: A linha de qualidade quase não se mexe; a de custo despenca. Este é o formato de curva em que você deve descer de nível sem medo.

📊 Medições publicadas (Fable 5, pesquisa e conhecimento)

  • medium: mesma acurácia do padrão em quatro benchmarks, a 70% a 85% do custo.
  • low: 1 a 3 pontos a menos, um terço a metade a menos de custo por tarefa.
  • O padrão não comprou nada mensurável acima de medium em nenhum dos quatro.
  • Tempo: 4,5 minutos por problema em low contra 7,9 no padrão, num benchmark de pesquisa.

Copie e rode

Varredura mínima de esforço para uma tarefa sua de pesquisa (Claude Code ou API)

1. Escolha 10 pedidos reais de pesquisa/resumo que você faz (inclua 2 difíceis).
2. Rode os 10 em esforço LOW, em sessão separada. Anote custo (ou tokens) e se a resposta serviu.
3. Rode os mesmos 10 em MEDIUM, sessão separada. Anote.
4. Rode em HIGH. Anote.
5. Monte a tabela: nível | serviu (de 10) | custo médio.
Leia: se "serviu" for igual em low e high, a curva é plana. Fique no low.
Como verificar: Diferenças de uma ou duas respostas são ruído numa rodada só. Se a decisão estiver apertada, repita a rodada nos dois níveis em disputa antes de decidir.
3

📈 Curva íngreme: código longo

lowmediumhigh (padrão) relativo ao padrão (100) -8 pts-2 pts100 qualidade 25%50%100% custoCurva íngreme de código longo: o custo cai, mas a qualidade cai junto
O que olhar: Aqui a qualidade acompanha o custo para baixo. Cortar para low economiza três quartos, mas perde oito pontos. Se oito pontos são falhas que você precisa consertar à mão, não valeu.

📊 Medições publicadas

  • Código de horizonte longo (Opus 5): medium perdeu ~2 pontos por metade do custo; low perdeu ~8 pontos por um quarto.
  • Trabalho no teto de raciocínio (pesquisa profunda com vários subtemas): cada degrau de esforço comprou ~2,4 pontos de rubrica. Não há corte grátis nessa curva.

✓ Sinais de que sua tarefa tem curva íngreme

  • Muitas etapas encadeadas, uma depende da outra.
  • Erros só aparecem no fim (teste que quebra, arquivo que não abre).
  • A tarefa difícil é a regra, não a exceção.

✗ Sinais de curva plana

  • Ler, resumir, comparar, classificar.
  • Cada pedido é independente.
  • Você consegue julgar a resposta em segundos.

💡 Inclua a tarefa difícil na varredura

Curvas são mais planas em tarefas fáceis. É na cauda difícil que o esforço alto paga o próprio custo. Se sua amostra só tem tarefas fáceis, ela vai dizer que tudo é plano, e você vai descobrir a curva íngreme em produção.

4

♻️ Rode barato e refaça só o que falhou

Se a curva é íngreme mas você consegue detectar quando falhou (um teste, um validador de formato, um checador), existe uma saída: rode tudo em baixo e refaça no padrão só o que falhou.

1 Rode em LOW todas as tarefas 2 Verifique teste / validador 3 Falhou? refaça no PADRÃO 4 Some o custo incluindo as falhas Política de rodar barato e refazer só o que falhou
O que olhar: O custo final inclui as tentativas baratas que falharam. Mesmo assim, nas medições publicadas, ficou pela metade.
Medições da Anthropic em código. Use para a economia, não para o ganho de acerto; e conte o custo do verificador e o tempo dobrado nas falhas.
PolíticaTaxa de acertoCusto por tarefa
Tudo no padrão91,7%$1,39
Tudo em low, refazer falhas no padrão~93%~$0,70
Tudo em medium, refazer falhas no padrão~94%~$0,95

Copie e rode

Molde de verificador simples para a política (exemplo com um arquivo gerado)

# 1) tarefa em esforço baixo gera saida.json
# 2) verificador: o arquivo existe, é JSON válido e tem os campos exigidos?
python3 - <<'EOF'
import json, sys
try:
    d = json.load(open("saida.json"))
    faltando = [k for k in ("titulo", "resumo", "data") if k not in d]
    sys.exit(1 if faltando else 0)
except Exception:
    sys.exit(1)
EOF
# 3) se saiu com código 1, refaça a tarefa no esforço padrão
Como verificar: Rode em 10 tarefas. Conte quantas falharam no low e foram refeitas. Some o custo das duas etapas e compare com rodar as 10 direto no padrão.
5

🦎 Precifique a cauda, não a mediana

Compare modelos na décima parte mais difícil do seu trabalho. Na tarefa típica todos parecem parecidos e o mais barato parece o melhor; a conta é decidida pelas tarefas que o modelo barato erra. E mesmo sem falha nenhuma, a cauda concentra o gasto.

43%em 2 de 20 problemas2 problemas difíceis43% do gasto totalOs outros 1857% do gasto
O que olhar: Dois problemas em vinte consumiram quase metade do dinheiro. Se você só olhasse a mediana, nunca veria isso.

Como precificar a cauda

1

Identifique os 10% mais difíceis

Do seu fluxo real

Quais tarefas mais demoram, mais voltam com erro, mais exigem correção? Liste-as. São elas que vão decidir.

2

Rode só essas nos candidatos

Modelo A × modelo B

Não gaste amostra com as fáceis. Nas fáceis todo mundo passa.

3

Conte custo e falhas na cauda

Aqui aparece a diferença

Um modelo barato que falha em 3 das 5 difíceis custou 3 refações. Some.

4

Decida pela cauda

Não pela média

Se o modelo mais caro vence na cauda e empata no resto, ele é mais barato no total, porque a cauda é onde o dinheiro está.

6

📏 Regras de medição que evitam decisão errada

✓ Faça

  • Células idênticas exceto o esforço; mesmo modelo; mesma ordem de pedidos.
  • Um nível por sessão. Complete todos os pedidos num nível antes de ir ao próximo.
  • Inclua uma tarefa difícil que você conhece.
  • Repita a rodada quando a diferença for de uma ou duas tarefas.
  • Aplique uma alavanca por vez, meça, mantenha ou reverta.

✗ Não faça

  • Trocar esforço no meio da sessão (invalida cache, distorce).
  • Decidir por uma rodada só quando está apertado.
  • Amostra só de tarefas fáceis.
  • Aplicar cache + esforço + modelo juntos e não saber o que ajudou.
  • Guardar uma alavanca que economizou mas devolveu acurácia: isso não é otimização.
1 Aplique 1 alavanca só ela 2 Meça acerto e custopor tarefa 3 Compare com a config anterior 4 Mantenha ou reverta e registre o porquê Ciclo de aplicar, medir, manter ou reverter, uma alavanca por vez
O que olhar: A ordem de aplicação é sempre cache, esforço, orçamento, modelo. O ranking de economia decide o que entra; a ordem decide a sequência.

🧪 Receita mínima de avaliação (para quem não tem nenhuma)

  • Entradas: 20 a 30 pedidos reais, congelados. Toda configuração roda o mesmo conjunto.
  • Julgamento: o mais barato que sirva: resposta-gabarito, uma rubrica curta que você pontua, ou um checador automático (teste passa, JSON válido).
  • Executor: um roteiro que roda o conjunto numa configuração, grava saída e uso de tokens, e reporta acerto e custo por tarefa.
  • Aprovação: estime o custo (entradas × configurações × custo por tarefa) antes de rodar.

🧪 Teste rápido do módulo

Três perguntas. Clique numa opção para ver a resposta.

1. Qual é a ordem correta das alavancas de custo, da primeira para a última?

2. Sua tarefa é código longo com curva íngreme, mas você tem testes automatizados. Qual política economiza?

3. Por que comparar modelos pela mediana das tarefas leva a erro?

📋 Resumo do módulo

Esforço primeiro - troca capacidade por custo no mesmo modelo. Varra antes de trocar de modelo.
Curva plana - pesquisa e conhecimento: medium igual ao padrão a 70–85%; low perde 1–3 pontos por metade.
Curva íngreme - código longo: medium perde 2 pontos por metade; low perde 8 por um quarto. Inclua a tarefa difícil.
Rode barato, refaça falhas - 93% a $0,70 contra 91,7% a $1,39. Precisa de verificador.
Precifique a cauda - 2 de 20 problemas levaram 43% do gasto. Compare nos 10% mais difíceis.
Meça direito - células idênticas, sessão separada, repetição no empate, uma alavanca por vez.

Próximo módulo:

3.3 - Alavancas do 5.1 para quem usa a API