🧠 Embeddings, memória & RAG básico

Computador não entende palavra — entende número. Embedding é o truque que vira texto em número de um jeito que preserva o significado: cada frase vira uma lista longa de números (um vetor), e textos com sentido parecido caem perto uns dos outros num espaço imaginário. "Gato" e "felino" ficam vizinhos; "gato" e "caminhão" ficam longe.

Cada palavra vira um ponto. A pergunta (em ciano) cai perto do aglomerado de "animais" e longe de "transporte" e "comida" — então a busca devolve gato, felino, bichano, mesmo que a pergunta não use nenhuma dessas palavras. Isso é busca por significado, não por palavra exata.

O modelo local sabe muita coisa do mundo — mas não sabe nada do seu mundo: seus PDFs, suas notas, a documentação interna da empresa. Treinar o modelo de novo com isso é caro e lento. RAG resolve por fora: na hora da pergunta, ele busca os trechos certos dos seus documentos e cola no prompt, como contexto. O modelo responde lendo aquilo — sem retreinar nada.

Todo RAG tem duas metades: a ingestão (feita uma vez, quando você adiciona documentos) e a consulta (feita a cada pergunta). Entenda o desenho e o resto vira detalhe de código.

Leia em duas linhas: em cima (roxo), a ingestão — documento → pedaços → vetores → banco. Embaixo (ciano), a consulta — pergunta → vetor → busca os vizinhos no banco → o LLM local recebe os trechos e escreve a resposta. O mesmo modelo de embeddings é usado dos dois lados.

Os 6 passos, em ordem

Modelos de embeddings são pequenos — alguns têm poucas centenas de MB e rodam liso até em hardware budget, sem GPU. O nomic-embed-text é um ótimo padrão para começar: leve, bom em português e já empacotado no Ollama. Vamos baixar e gerar o primeiro vetor.

Você poderia guardar os vetores numa lista e comparar um por um — funciona com 10 chunks, vira tartaruga com 100 mil. Um banco vetorial existe pra isso: armazena os vetores e responde rápido à pergunta "quais são os N mais parecidos com este aqui?".

# pip install chromadb
import chromadb

db  = chromadb.PersistentClient(path="./meu_rag")   # guarda em disco
col = db.get_or_create_collection("docs")

# guardar: id + texto + o vetor que veio do nomic-embed-text
col.add(ids=["1"],
        documents=["A senha do wifi do escritório é roxo-1234"],
        embeddings=[[0.12, -0.03, 0.88]])            # <vetor real do passo 4>

# buscar: os 3 mais parecidos com o vetor da pergunta
hits = col.query(query_embeddings=[[0.10, -0.01, 0.90]], n_results=3)
print(hits["documents"])   # → o(s) trecho(s) recuperado(s)

Hora de juntar tudo. Este script faz o RAG completo: lê um .txt, quebra em chunks, embeda, guarda, e aí responde uma pergunta usando só o que está no documento — tudo no seu Ollama. Os trechos marcados com <...> são o que você troca.

# pip install chromadb openai   (Ollama já rodando)
from openai import OpenAI
import chromadb

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
EMB = "nomic-embed-text"
LLM = "qwen2.5:7b"                       # <troque pelo seu modelo>

def embed(txt):
    return client.embeddings.create(model=EMB, input=txt).data[0].embedding

# 1) INGESTÃO: lê o .txt, quebra em chunks, embeda e guarda
texto  = open("notas.txt").read()        # <seu arquivo .txt>
chunks = [c for c in texto.split("\n\n") if c.strip()]   # 1 parágrafo = 1 chunk
col = chromadb.Client().create_collection("notas")
col.add(ids=[str(i) for i in range(len(chunks))],
        documents=chunks,
        embeddings=[embed(c) for c in chunks])

# 2) CONSULTA: embeda a pergunta, busca os vizinhos, monta o prompt
pergunta = "Qual a senha do wifi do escritorio?"   # <sua pergunta>
viz = col.query(query_embeddings=[embed(pergunta)], n_results=3)["documents"][0]
contexto = "\n".join(viz)

resp = client.chat.completions.create(model=LLM, messages=[
  {"role": "system", "content": "Responda SO com base no contexto. Se nao houver, diga 'nao sei'."},
  {"role": "user",   "content": f"Contexto:\n{contexto}\n\nPergunta: {pergunta}"}
])
print(resp.choices[0].message.content)