Conteúdo detalhado
🛰️ Onde o modelo roda: nuvem vs local
A diferença entre IA na nuvem e IA local cabe numa pergunta: onde a conta acontece? Na nuvem, seu texto sai da sua máquina, viaja pela internet e é processado num data center de outra empresa. Localmente, a mesma conta roda no seu próprio computador — e nada precisa sair dali.
Leia o diagrama em duas faixas. Em cima (vermelho), o caminho da nuvem: seu texto cruza a internet até um servidor que não é seu, e volta. Embaixo (verde), o caminho local: prompt → sua GPU/CPU → resposta, tudo dentro da caixa tracejada — funciona até sem internet.
🔑 A ideia central
Mude o onde e você muda tudo o que decorre dele:
- •Local = sem trânsito: o prompt nunca atravessa a internet, então não há cópia em servidor alheio.
- •Local = sem dono externo: ninguém entre você e o modelo para cobrar, registrar ou bloquear.
- •Local = funciona offline: se a internet cai, a inteligência continua.
📦 O que é um LLM, em concreto
Antes de "rodar local", vale desmistificar o que é essa coisa que roda. Um LLM não é mágica nem um cérebro: na prática, é um arquivo grande de números + um programa que lê texto e prevê o próximo pedaço. Saber disso tira o medo e explica por que ele cabe (ou não) na sua máquina.
🆕 Novo aqui?
"LLM" (Large Language Model) é o modelo de IA que roda atrás do ChatGPT e similares. Dois pedaços formam ele:
- Pesos: um arquivo gigante de números (os "parâmetros") que guardam o que o modelo aprendeu. É isso que você baixa.
- Inferência: o ato de usar os pesos para gerar resposta — a "conta" que sua GPU/CPU faz a cada palavra. (Treinar é outra coisa, bem mais cara; você só faz inferência.)
- Token: o pedaço de texto que o modelo manipula — costuma ser ~uma sílaba ou um pedaço de palavra. O modelo lê tokens e prevê o próximo, um de cada vez.
No fundo, gerar texto é repetir um único passo, token a token:
Lê o que já existe
O modelo recebe seu prompt quebrado em tokens e "olha" para todos eles de uma vez.
Prevê o próximo token
Usando os pesos, calcula qual token tem mais chance de vir a seguir. Isso é a inferência — a parte que pesa na sua máquina.
Repete até terminar
Anexa o token gerado e recomeça. Token após token, nasce a resposta. É por isso que o texto "sai escrevendo" na tela.
✂️ Como o texto vira tokens
A frase abaixo, partida em tokens (cada | é uma fronteira aproximada):
Regra de bolso: ~0,75 palavra por token em português. Guarde isso — "janela de contexto" e custo de memória se medem em tokens (tema do módulo 1.4).
🔒 Privacidade real
O primeiro dos três ganhos do local é o mais concreto: seus prompts e respostas nunca saem da máquina. Não há cópia num servidor de terceiro, não há log de conversa que você não controla, não há política de uso de dados além da sua. Para alguns trabalhos, isso deixa de ser conforto e vira requisito.
✓ Local
- ✓O texto fica no disco e na memória da sua máquina
- ✓Nenhum log de conversa em servidor alheio
- ✓Você decide o que guardar e o que apagar
- ✓Nada é usado para treinar o modelo de outra empresa
✗ Só nuvem
- ✗O texto trafega e é processado por terceiros
- ✗Logs e retenção seguem a política deles
- ✗Dados podem alimentar treino, conforme os termos
- ✗Vazamento do provedor expõe o que você mandou
⚖️ Quando isso pesa de verdade
- Jurídico: contratos, peças, dados de clientes sob sigilo profissional.
- Saúde: prontuários, exames, qualquer dado de paciente.
- Pessoal e financeiro: diário, senhas em texto, extratos, segredos de negócio.
- Código proprietário: a base da sua empresa não deveria sair para um endpoint que você não controla.
💡 Dica prática
Privacidade não é "tudo ou nada". O padrão saudável: sensível roda local, banal pode ir para a nuvem. O ponto do local é você poder escolher — em vez de mandar tudo para fora por falta de alternativa.
♾️ Ilimitado: sem pedágio por prompt
O segundo ganho muda a sua economia. Na nuvem você paga por token — cada chamada tem um medidor rodando. No local, depois do hardware, o custo marginal de mais um prompt é basicamente eletricidade. Isso parece detalhe, mas destrava um jeito inteiro de usar IA.
✓ Local (custo fixo)
- ✓Rodar o dia inteiro não muda a fatura por chamada
- ✓Processar em lote 10 mil itens é viável
- ✓Experimentar sem medo de "queimar crédito"
- ✓Agentes 24/7 ficam possíveis (Trilha 4)
✗ Nuvem (custo por uso)
- ✗Cada token entra e sai com preço
- ✗Uso contínuo vira conta que escala feio
- ✗Você se autocensura para não gastar
- ✗Rate limits cortam o batch no meio
⌨️ Experimente: um lote que na nuvem você pensaria duas vezes
Objetivo: resumir 50 linhas de um arquivo, uma a uma, sem olhar para nenhum medidor. (Funciona depois da Trilha 3, com o Ollama instalado.)
Como verificar: ele processa as 50 linhas em sequência. A única "conta" que sobe é a do seu medidor de luz — nenhum crédito de API foi consumido. É exatamente esse padrão que sustenta os agentes da Trilha 4.
💡 Dica prática
"Ilimitado" é dentro do limite do seu hardware: uma máquina roda um modelo a uma certa velocidade. Você não paga por token, mas paga por tempo e energia. A vantagem é que o custo é previsível e não escala com cada chamada.
🛡️ Não pode ser tirado de você
O terceiro ganho é o mais subestimado: o modelo que está no seu disco não some. Uma vez baixado, ele não depende de assinatura ativa, de o provedor continuar existindo, de a sua região estar liberada ou de um preço que pode dobrar amanhã. A inteligência vira um bem que é seu.
✓ É seu, fica
- ✓Sem assinatura para cortar o acesso
- ✓Sem bloqueio por país ou região
- ✓Sem mudança de preço ou de política te pegando
- ✓Funciona mesmo se o provedor sumir do mapa
✗ Emprestado, pode ir
- ✗Conta suspensa = acesso zero, sem aviso
- ✗Modelo "aposentado" e você fica sem ele
- ✗Preço sobe e o orçamento não acompanha
- ✗Bloqueio regional te deixa de fora
🤝 O lado honesto: com poder vem responsabilidade
Soberania não é só ganho. Quando a inteligência é sua, a manutenção também é:
- Uptime é seu: se sua máquina desliga, o "serviço" cai — não há suporte para chamar.
- Segurança é sua: manter o lab seguro (rede, acesso) é sua tarefa — tema da Trilha 2.
- Atualização é sua: baixar modelos melhores quando saírem depende de você.
🧭 Quando NÃO usar local
Honestidade fecha o módulo. Local é poderoso, mas não é resposta única para tudo. Há casos em que a nuvem ainda ganha — e reconhecê-los é o que separa a soberania madura do dogma. Use este fluxo simples para decidir caso a caso:
O fluxo não é "local sempre". É: dados sensíveis ou uso intenso → local; pico de inteligência, sem hardware ou uso esporádico → nuvem (ou um híbrido). Soberania é ter a base local e usar a nuvem por escolha.
🚩 Sinais de que a nuvem é a escolha certa
- Pico absoluto: a tarefa exige o modelo mais inteligente que existe hoje, e nada menos serve.
- Sem hardware: você ainda não tem máquina para o tamanho de modelo que precisa.
- Uso raro: uma pergunta de vez em quando não justifica montar e manter um lab.
📝 Experimente: o teste do "eu mandaria isso para fora?"
Objetivo: sentir, na prática, onde o local é requisito para você. Pegue papel (ou um arquivo) e liste o que você não colaria num chat na nuvem hoje. Comece por estas perguntas:
- ›Que documentos de trabalho têm dado de cliente ou sigilo?
- ›Que código da sua empresa não deveria sair para um endpoint externo?
- ›Que coisa pessoal (saúde, finanças, diário) você gostaria que ficasse só com você?
Como verificar: tudo o que entrou nessa lista é, na prática, a sua fila de tarefas para IA local. Guarde — ela vira o seu "porquê" concreto ao longo do curso.
Auto-checagem (opcional): qual é a diferença essencial que define "IA local"?
📌 Resumo do módulo
Próximo módulo:
1.3 — Local é mais burro/lento? O elefante na sala