Conteúdo detalhado
⚖️ O trade-off mestre: memória × bandwidth
Todo hardware de IA local vive a mesma tensão. De um lado, quanta memória a máquina tem — isso decide o tamanho do modelo que cabe. Do outro, a bandwidth dessa memória — isso decide a velocidade com que o texto sai. As quatro categorias deste módulo são só pontos diferentes nesse mesmo gangorra.
🆕 Novo aqui?
- Memória unificada: RAM e VRAM viram um pote só, compartilhado entre CPU e GPU (jeito da Apple). Cabe modelo grande, mas a banda costuma ser modesta.
- VRAM: a memória dedicada que mora dentro da placa de vídeo. Geralmente menor, porém com banda altíssima.
- Bandwidth (banda de memória): quantos GB/s a memória entrega ao chip. É o gargalo nº 1 da velocidade de geração — mais banda, mais tokens por segundo.
🔑 A ideia central
Pense em dois eixos independentes:
- •Capacidade (memória): o modelo cabe ou não cabe. Sem memória suficiente, ele nem carrega.
- •Bandwidth: uma vez carregado, a banda dita se a resposta sai num jorro ou pingando.
- •Ninguém tem os dois no máximo barato: Apple aposta em capacidade; GPU aposta em banda. Escolher hardware é escolher onde ceder.
Leia comparando as duas colunas: à esquerda, uma caixa de memória bem maior (até 512 GB) mas alimentada por um cano fino — muita capacidade, pouca velocidade. À direita, uma caixa menor (≈ 32 GB) com um cano largo — pouca capacidade, muita velocidade. A espessura da seta é o bandwidth.
📊 As 4 categorias num relance
| Categoria | Memória | Bandwidth | Bom para |
|---|---|---|---|
| Mac (unificada) | alta (até 512 GB) | baixa | modelos enormes, devagar |
| Workstation IA | média (~128 GB) | média | equilíbrio, dev local |
| GPU potente | baixa-média (32–96 GB) | altíssima | velocidade, até caber na VRAM |
| Budget | baixa (8–24 GB) | baixa-média | modelos pequenos, embeddings |
🍎 Categoria Mac: memória unificada alta, banda baixa
O Apple Silicon (chips M-series no Mac Studio, Mac Pro e MacBook) reescreveu o jogo da IA local com um truque: a memória unificada. A GPU enxerga toda a RAM do sistema como se fosse VRAM. Um Mac Studio com 512 GB unificados consegue carregar um modelo de 200 GB+ que GPU nenhuma de consumo segura. O preço pago é a banda: ela é boa para um chip integrado, mas fica longe de uma GPU dedicada — então o modelo gigante roda, só que devagar.
✓ Onde o Mac brilha
- ✓Roda modelos enormes que não cabem em nenhuma GPU de consumo
- ✓Silencioso, frio e econômico de energia para o tamanho
- ✓macOS pronto: MLX/Metal sem instalar driver nenhum
- ✓Caixa única, sem montar PC nem fonte de 1000 W
✗ Onde ele cede
- ✗Banda menor → tokens/s mais baixos que uma GPU dedicada
- ✗Configurações com muita RAM unificada custam caro
- ✗Sem CUDA: alguns projetos assumem NVIDIA e exigem adaptação
- ✗Memória soldada: não dá para fazer upgrade depois
💡 Dica prática
Se a sua meta é rodar o maior modelo possível num único aparelho silencioso — e você tolera respostas que saem num ritmo de leitura, não de jato — o Mac de memória unificada alta é difícil de bater. Se a meta é velocidade máxima num modelo que cabe em 24–32 GB, a próxima parada (GPU) serve melhor.
🏗️ Workstations de IA: memória média, banda média
No meio do mapa nasceu uma categoria nova: workstations de IA — máquinas pensadas de fábrica para rodar modelos, com bastante memória unificada/compartilhada e banda melhor que um Mac comum, sem o preço (e o calor) de um rack de GPUs. É o equilíbrio de quem quer um modelo grande e velocidade decente, normalmente rodando Linux.
NVIDIA DGX Spark (~128 GB)
Um "supercomputador de IA de mesa" da NVIDIA com memória coerente na casa dos 128 GB. Traz a stack CUDA num formato compacto — bom para prototipar modelos médios/grandes sem ir para a nuvem.
AMD Ryzen AI Max "Strix Halo"
APU da AMD que aloca uma fatia grande da RAM do sistema como memória de GPU — a resposta da AMD à ideia de memória unificada, em mini-PCs e laptops potentes. Equilíbrio parecido, ecossistema ROCm.
SO típico: Linux
Essas caixas quase sempre rodam Linux, onde drivers (CUDA/ROCm) e runtimes de IA estão mais maduros. É a categoria que mais pede familiaridade com terminal — assunto do módulo 2.3.
🧭 Como posicionar
A workstation senta exatamente entre o Mac (muita memória, pouca banda) e a GPU (pouca memória, muita banda): memória média e banda média. É a escolha de quem não quer extremo nenhum — quer um modelo razoavelmente grande rodando numa velocidade razoavelmente boa, sem montar um servidor.
🚀 GPUs potentes: VRAM menor, banda altíssima
Aqui mora a velocidade pura. Uma GPU NVIDIA dedicada tem menos memória que um Mac topo de linha, mas a banda da VRAM é várias vezes maior — então, enquanto o modelo couber na VRAM, ele cospe tokens num ritmo que nenhuma outra categoria alcança. A regra de ouro muda: aqui o teto não é "que modelo cabe na máquina", é "que modelo cabe na placa".
🖥️ Duas referências de GPU
| GPU | VRAM | Banda | Perfil |
|---|---|---|---|
| RTX 5090 | ~32 GB | altíssima | consumidor topo, muito rápido |
| RTX 6000 (Pro) | ~96 GB | altíssima | profissional, cabe mais, caro |
✓ A favor
- ✓Tokens/s no topo — sensação de "tempo real"
- ✓CUDA é o caminho mais suportado em todo o ecossistema
- ✓Ótima para servir API rápida e agentes que respondem na hora
✗ Contra
- ✗Modelo que não cabe na VRAM "transborda" pra CPU e despenca de velocidade
- ✗Consumo de energia e calor altos; fonte e gabinete robustos
- ✗VRAM grande (96 GB) custa caro — território profissional
💡 Dica prática
Com GPU, o jogo é manter tudo dentro da VRAM. Um modelo quantizado que ocupa 28 GB voa numa 5090 de 32 GB; o mesmo modelo em precisão maior estoura, vaza para a RAM e a velocidade cai feito pedra. No módulo 2.2 você aprende a estimar esse encaixe antes de baixar qualquer coisa.
💵 Budget: o "tudo o mais" ainda vale muito
A quarta categoria é a maior de todas: Mac mini, laptops e PCs comuns — qualquer coisa abaixo da faixa premium. Memória menor (8–24 GB), banda modesta. Mas não confunda "budget" com "inútil": é exatamente aqui que a maioria das pessoas começa, e rodando modelos pequenos (Gemma, Phi, Qwen nas versões 2–8B), embeddings e classificação, você já resolve uma quantidade enorme de tarefas reais.
✓ O que roda bem
- ✓Modelos pequenos (2–8B) quantizados para chat e rascunho
- ✓Embeddings e busca semântica (base de RAG) — leves
- ✓Classificação, extração e resumo de textos curtos
- ✓Custo de entrada zero: usar a máquina que você já tem
✗ Onde aperta
- ✗Modelos grandes (30B+) não cabem ou rastejam
- ✗Contexto muito longo estoura a memória rápido
- ✗Sem GPU, a CPU segura — mas em tokens/s baixos
💡 Dica prática
A melhor categoria para aprender é a que você já tem em cima da mesa. Comece no budget com um modelo pequeno e o Ollama (Trilha 3), descubra o que você realmente faz com IA local, e só então decida se vale subir de categoria. Hardware caro comprado antes de saber o caso de uso costuma virar prateleira.
💻 Sistema operacional na prática
A categoria de hardware quase sempre arrasta um sistema operacional junto. Não existe "melhor SO" no abstrato — existe o que combina com a sua máquina e o seu conforto. Os três caminhos:
🧭 macOS × Linux × Windows
| SO | Casa com | A favor | Contra |
|---|---|---|---|
| macOS | Apple Silicon | usabilidade, MLX, zero driver | sem CUDA |
| Linux | workstations / GPU | drivers maduros, mais controle | curva de terminal |
| Windows | GPUs gamer | fácil, WSL2 traz Linux junto | camadas a mais |
⌨️ Exemplo prático: descubra a sua categoria
Objetivo: ver quanta memória (e qual tipo) você tem — o número que decide em qual das 4 categorias a sua máquina cai. Cole no terminal.
Como verificar: se o número grande vem de free -h num Mac, é unificada (categoria 2). Se há uma VRAM separada no nvidia-smi, é GPU (categoria 4). Pouca memória e sem GPU dedicada? Budget (categoria 5) — e tudo bem começar por aí.
Auto-checagem (opcional): qual frase resume corretamente o trade-off mestre deste módulo?
📌 Resumo do módulo
Próximo módulo:
2.2 — Como escolher o que cabe na sua máquina