Conteúdo detalhado
🎯 A pergunta certa: que modelo você quer rodar?
A maioria começa pelo lugar errado: olha a máquina e pergunta "o que cabe aqui?". Inverta a ordem. Comece pelo caso de uso — a tarefa define o tamanho do modelo, o tamanho define a memória, e a memória aponta o hardware. Hardware é a última pergunta, não a primeira.
🆕 Novo aqui?
"Caso de uso" é a tarefa concreta: resumir e-mail, escrever código, classificar texto, conversar. "Tamanho" é a quantidade de parâmetros do modelo, medida em bilhões — o 7B, 13B, 70B do nome. Mais parâmetros ≈ mais capaz, porém mais pesado. "Quantização" é o quanto cada parâmetro foi comprimido (Q4, Q8, FP16) — veremos no próximo tópico.
🔑 Três perguntas antes de qualquer download
- •Que tarefa? Chat e rascunho pedem pouco; código de produção e raciocínio longo pedem modelos maiores.
- •Que qualidade mínima serve? "Bom o suficiente" para a maioria das tarefas chega bem antes do topo de linha.
- •Com que frequência? Uso esporádico tolera lentidão; um agente 24/7 precisa caber confortável e rodar rápido.
✓ Pelo caso de uso (certo)
- ✓"Quero resumir notas" → modelo 7B basta → cabe em 8 GB
- ✓Você sabe o teto de memória antes de baixar
- ✓Gasta só o necessário — nada de hardware sobrando
✗ Pelo hardware (errado)
- ✗"Tenho uma GPU, qual o maior modelo?" → baixa um 70B que mal roda
- ✗Frustração: lento, travando, sem caber direito
- ✗Compra cara para um problema que um 7B resolvia
📐 A regra de bolso de memória
Essa é a conta que decide quase tudo. O tamanho do modelo em disco e em memória sai de uma fórmula simples — você não precisa de mais que multiplicação:
🆕 Novo aqui?
"Peso" (ou parâmetro) é um número que o modelo aprendeu. Um 7B tem 7 bilhões deles. "Bytes por peso" é quanto cada número ocupa: FP16 guarda cheio (2 bytes), quantizar comprime para 8 ou 4 bits (1 ou ~0,5 byte), encolhendo o arquivo. "Overhead de contexto" (o KV cache) é a memória extra que cresce conforme a conversa fica longa — reserve de 1 a 3 GB para contextos típicos.
Aplicando a fórmula aos tamanhos mais comuns (só os pesos, antes do contexto):
| Modelo | Q4 (~0.6 GB/B) | Q8 (~1.0 GB/B) | FP16 (~2.0 GB/B) |
|---|---|---|---|
| 7B | ~4.5 GB | ~7.5 GB | ~14 GB |
| 13B | ~8 GB | ~14 GB | ~26 GB |
| 34B | ~20 GB | ~36 GB | ~68 GB |
| 70B | ~40 GB | ~70 GB | ~140 GB |
Leia a tabela escolhendo a linha (o tamanho que a sua tarefa pede) e a coluna (a quantização). O número na célula tem que caber na sua memória com folga — some o contexto e deixe respiro para o sistema.
💡 Dica prática
Nunca encha a memória até a borda. Reserve 10–20% de folga para o sistema operacional, 1–3 GB para o contexto, e prefira a maior quantização que ainda caiba — Q4_K_M é o ponto doce: encolhe muito e perde pouca qualidade. Regra mental rápida: tamanho em bilhões ÷ 2 ≈ GB em Q4.
🧭 VRAM, RAM ou unificada na sua decisão
A regra de bolso te diz quantos GB. Falta saber de qual memória. O tipo de memória que o seu perfil de hardware oferece muda a faixa de modelo que vale a pena — e a velocidade que você vai sentir.
🆕 Novo aqui?
VRAM é a memória da placa de vídeo (GPU) — pouca, porém rápida; o modelo voa quando cabe inteiro nela. RAM é a memória do sistema, usada pela CPU — abundante e barata, mas lenta para inferência. Memória unificada (Apple Silicon) é um pool único que CPU e GPU compartilham — cabe modelo grande, com banda intermediária.
Leia o diagrama da esquerda para a direita: cada faixa de memória livre (azul) aponta a maior faixa de modelo (em ciano) que cabe com folga em Q4. Em VRAM dedicada, esse modelo voa; na mesma quantidade de RAM ou memória unificada, ele cabe igual — só anda mais devagar.
✓ Onde cada uma brilha
- ✓VRAM: o modelo cabe inteiro na GPU → velocidade máxima
- ✓Unificada: muito GB barato → roda modelos enormes que GPU nenhuma comum aguenta
- ✓RAM: o caminho zero-custo para modelos pequenos na CPU
✗ Onde cada uma aperta
- ✗VRAM: pouca — estourou o limite, despenca para a CPU
- ✗Unificada: banda intermediária → 70B cabe, mas anda devagar
- ✗RAM: lenta para inferência; modelo grande vira tartaruga
⚡ Velocidade aceitável: tokens por segundo
Caber é uma coisa; ser usável é outra. A métrica que mede isso é tokens/s — quão rápido o texto sai. E aqui quem manda não é o tamanho da memória, e sim a banda (quão rápido a memória entrega dados ao processador).
🆕 Novo aqui?
"Token" é um pedaço de palavra — em média uma palavra tem 1 a 2 tokens. "Tokens/s" é quantos desses pedaços o modelo gera por segundo. Para comparar: você lê em voz alta a uns ~5 tokens/s; acima disso, o texto aparece mais rápido do que você lê.
Use estas faixas como referência para saber se uma combinação modelo+hardware vale a pena:
< 5 tokens/s — sofrido para chat
Dá para tarefas em lote que rodam sozinhas (à noite, sem você olhando), mas conversar assim cansa. Sinal típico de modelo grande demais na CPU/RAM.
10–20 tokens/s — confortável
A faixa boa para chat do dia a dia: o texto sai na velocidade da leitura. É o alvo realista de um 7B–8B em Q4 numa GPU modesta ou em memória unificada.
40+ tokens/s — folgado
Resposta quase instantânea, ótimo para agentes e fluxo intenso. Acontece quando o modelo cabe inteiro na VRAM de uma GPU de banda alta.
💡 Dica prática
Quando o modelo cabe inteiro na memória rápida, a velocidade despenca de forma suave com o tamanho. Quando transborda (parte na GPU, parte na CPU), a queda é brusca — pode cair de 30 para 3 tokens/s. Por isso a meta é: caber inteiro na memória mais rápida que você tem, nem que seja num modelo um número menor.
💰 Começar com o que você já tem
A melhor primeira máquina é a que está na sua mesa. O caminho de custo zero é direto: o laptop que você já usa + Ollama + um modelo de 3B a 8B em Q4. Antes de pensar em comprar qualquer coisa, leia o que a sua máquina tem — são dois comandos.
⌨️ Exemplo prático: leia a memória da sua máquina
Objetivo: descobrir quanta VRAM e RAM você tem — os dois números que decidem o maior modelo viável. Cole no terminal.
Como verificar / estimar o maior modelo viável:
- Anote a memória livre mais rápida que você tem (VRAM se houver GPU; senão a RAM).
- Tire ~20% de folga para o sistema e 2 GB para o contexto.
- Divida o que sobrou por 0.6 → é o tamanho máximo aproximado em bilhões, em Q4. Ex.: 16 GB → ~11 GB úteis → cabe um 7B–8B com folga.
✓ O que você tem já basta quando…
- ✓O caso de uso é chat, resumo, rascunho ou classificação
- ✓Um 7B–8B em Q4 cabe e roda a 10+ tokens/s
- ✓Você ainda está aprendendo e testando o fluxo
↑ Pense em subir quando…
- →O modelo que a tarefa exige não cabe nem em Q4
- →A velocidade trava o seu trabalho de verdade
- →Você vai deixar um agente rodando 24/7
🚀 Montando um plano de upgrade
Se chegou a hora de investir, gaste na ordem certa. A regra de ouro: memória primeiro, sempre. Modelo que não cabe não roda — adianta pouco ter banda se falta espaço. Siga esta prioridade:
Mais memória
É o que destrava modelos maiores. Em RAM costuma ser barato; em VRAM (mais GPU) é o pulo de qualidade que mais rende. Resolva o "cabe?" antes de qualquer outra coisa.
GPU dedicada (quando a velocidade trava)
Só depois que cabe. Uma GPU com VRAM suficiente para o modelo inteiro multiplica os tokens/s. Compense banda e capacidade — VRAM pequena e rápida força transbordo para a CPU.
Multi-máquina (mais tarde)
Modelo grande numa máquina, modelo rápido noutra, tudo conectado pela rede privada. É o tema do módulo 2.4 (Tailscale) — não compre pensando nisso agora.
🛒 Checklist de compra
- •Já defini o caso de uso e o tamanho de modelo alvo?
- •O alvo cabe na memória que vou comprar, em Q4, com folga de SO e contexto?
- •A banda entrega os tokens/s que o meu uso exige?
- •O sistema operacional suporta meu hardware sem dor (tema do 2.3)?
💡 Dica prática
Não compre para o modelo dos seus sonhos — compre para o modelo que você realmente usa hoje, com uma folga de um degrau. O ecossistema fica mais eficiente a cada mês: o hardware que você comprar render mais amanhã do que rende agora.
Auto-checagem (opcional): você tem 16 GB de RAM e nenhuma GPU dedicada. Pela regra de bolso, qual é a escolha mais segura para chat do dia a dia?
📌 Resumo do módulo
Próximo módulo:
2.3 — Sistema operacional, drivers e base