← Todas as perguntas
Pergunta 20 · 🧠 Acesso a modelos e modelos locais

Qual tamanho de modelo local começar num Mac com 48 GB de RAM?

Resposta curtaComece por volta de 15 a 20 bilhões de parâmetros, para sobrar folga.
Ilustração da pergunta 20: Qual tamanho de modelo local começar num Mac com 48 GB de RAM?

Rodar um modelo no próprio Mac dá privacidade e uso sem custo por pergunta. Mas escolher grande demais deixa tudo lento, e a conta de memória ajuda a acertar de primeira.

A resposta

Parâmetros são os “números aprendidos” do modelo; quanto mais parâmetros, mais memória ele ocupa. Uma regra prática aproximada é reservar para o modelo cerca de metade da RAM — aqui, uns 24 GB. É uma regra conservadora para começar (o Mac até permite usar mais), não um limite técnico.

A conta: na versão comprimida mais comum (quantizada em 4 bits), cada bilhão de parâmetros ocupa por volta de 0,6 GB. Um modelo de 20 bilhões fica perto de 12 GB, e o resto dos 24 GB cobre a memória da conversa. O sistema e os outros programas continuam com a outra metade.

Não escolha de cara o maior modelo que cabe na máquina: com folga, o computador continua usável enquanto o modelo roda. Em Mac, procure a versão MLX do modelo, feita para os chips da Apple.

Memória unificada do Mac

Nos Macs com chip da Apple, a memória é unificada: o processador e a parte gráfica usam a mesma RAM. Por isso os 48 GB servem para rodar o modelo, sem uma placa de vídeo separada.

Em compensação, tudo disputa o mesmo espaço: modelo, navegador, programas abertos e o próprio sistema.

Peso do modelo e da conversa

O modelo ocupa memória de dois jeitos. O primeiro é o arquivo em si: em 4 bits, cerca de 0,6 GB por bilhão de parâmetros. A quantização (compressão dos números do modelo) em 8 bits ocupa perto do dobro, numa estimativa.

O segundo é o contexto (o quanto de conversa e documentos o modelo considera de uma vez). Quanto maior o texto colado, mais memória ele usa, além do arquivo.

A conta, passo a passo

Reserve cerca de metade da RAM: 24 GB. Um modelo de 20 bilhões em 4 bits ocupa uns 12 GB. Sobram uns 12 GB para o contexto, o que permite conversas longas e documentos médios sem aperto.

Um modelo bem maior até pode carregar, mas deixa pouca folga e o Mac pode ficar lento para o resto do trabalho.

Ferramentas para começar

O LM Studio e o Ollama baixam e rodam modelos com poucos cliques ou um comando. No Hugging Face (repositório público de modelos), procure versões MLX (formato otimizado para os chips da Apple) ou quantizadas em 4 bits. Teste com tarefas reais suas antes de decidir que o modelo serve.

Um exemploUma pessoa com Mac de 48 GB instala o LM Studio e baixa um modelo de cerca de 20 bilhões em versão MLX de 4 bits. Usa para resumir contratos e responder e-mails, com o navegador e a planilha abertos ao mesmo tempo. Como o computador segue fluido, ela testa um modelo um pouco maior e compara a qualidade nas mesmas tarefas.
A ideia em uma imagem
RAM do Mac48 GB
Reserva para o modelo (metade)24 GB
Modelo de 20 bi em 4 bits12 GB
O que sobra da reserva vai para a memória da conversa. Valores aproximados.
Na prática
  1. Veja quanto de memória o Mac usa hoje no seu trabalho normal, pelo Monitor de Atividade.
  2. Instale o LM Studio ou o Ollama.
  3. Baixe um modelo entre 15 e 20 bilhões de parâmetros em 4 bits, de preferência em versão MLX.
  4. Teste com três ou quatro tarefas reais e anote a qualidade e a velocidade.
  5. Observe a pressão de memória durante o uso, com seus programas abertos.
  6. Só suba de tamanho se houver folga e a qualidade atual não bastar.
Erros comuns
Para guardar
Projetos e cursos INEMA sobre isso