Pergunta 20 · 🧠 Acesso a modelos e modelos locais
Qual tamanho de modelo local começar num Mac com 48 GB de RAM?

Rodar um modelo no próprio Mac dá privacidade e uso sem custo por pergunta. Mas escolher grande demais deixa tudo lento, e a conta de memória ajuda a acertar de primeira.
Parâmetros são os “números aprendidos” do modelo; quanto mais parâmetros, mais memória ele ocupa. Uma regra prática aproximada é reservar para o modelo cerca de metade da RAM — aqui, uns 24 GB. É uma regra conservadora para começar (o Mac até permite usar mais), não um limite técnico.
A conta: na versão comprimida mais comum (quantizada em 4 bits), cada bilhão de parâmetros ocupa por volta de 0,6 GB. Um modelo de 20 bilhões fica perto de 12 GB, e o resto dos 24 GB cobre a memória da conversa. O sistema e os outros programas continuam com a outra metade.
Não escolha de cara o maior modelo que cabe na máquina: com folga, o computador continua usável enquanto o modelo roda. Em Mac, procure a versão MLX do modelo, feita para os chips da Apple.
Memória unificada do Mac
Nos Macs com chip da Apple, a memória é unificada: o processador e a parte gráfica usam a mesma RAM. Por isso os 48 GB servem para rodar o modelo, sem uma placa de vídeo separada.
Em compensação, tudo disputa o mesmo espaço: modelo, navegador, programas abertos e o próprio sistema.
Peso do modelo e da conversa
O modelo ocupa memória de dois jeitos. O primeiro é o arquivo em si: em 4 bits, cerca de 0,6 GB por bilhão de parâmetros. A quantização (compressão dos números do modelo) em 8 bits ocupa perto do dobro, numa estimativa.
O segundo é o contexto (o quanto de conversa e documentos o modelo considera de uma vez). Quanto maior o texto colado, mais memória ele usa, além do arquivo.
A conta, passo a passo
Reserve cerca de metade da RAM: 24 GB. Um modelo de 20 bilhões em 4 bits ocupa uns 12 GB. Sobram uns 12 GB para o contexto, o que permite conversas longas e documentos médios sem aperto.
Um modelo bem maior até pode carregar, mas deixa pouca folga e o Mac pode ficar lento para o resto do trabalho.
Ferramentas para começar
O LM Studio e o Ollama baixam e rodam modelos com poucos cliques ou um comando. No Hugging Face (repositório público de modelos), procure versões MLX (formato otimizado para os chips da Apple) ou quantizadas em 4 bits. Teste com tarefas reais suas antes de decidir que o modelo serve.
- Veja quanto de memória o Mac usa hoje no seu trabalho normal, pelo Monitor de Atividade.
- Instale o LM Studio ou o Ollama.
- Baixe um modelo entre 15 e 20 bilhões de parâmetros em 4 bits, de preferência em versão MLX.
- Teste com três ou quatro tarefas reais e anote a qualidade e a velocidade.
- Observe a pressão de memória durante o uso, com seus programas abertos.
- Só suba de tamanho se houver folga e a qualidade atual não bastar.
- Escolher o maior modelo que cabe: sobra pouca memória e o Mac fica lento.
- Esquecer o contexto na conta: documentos longos consomem memória além do arquivo do modelo.
- Julgar o modelo por um único teste: compare sempre nas suas tarefas reais.
- 48 GB ÷ 2 ≈ 24 GB para o modelo.
- 4 bits: ~0,6 GB por bilhão → 20 bi ≈ 12 GB.
- No Mac, versão MLX.