🔍 Recuperação, reranking e contextual retrieval

k é o tamanho do top recuperado que vai pra geração. Trade-off: k baixo (3-5) tem alta precisão mas perde recall; k alto (20-50) capta tudo mas enche a janela e dispara lost-in-middle. Default: k=5 para gerar, k=50 para reranker. Otimize empiricamente no seu golden set.

Retriever inicial (dual encoder) é rápido mas grosseiro. Reranker cross-encoder recebe (query, chunk) JUNTOS e produz score com mais precisão. Padrão: top-50 do retriever → reranker → top-5 final. Custo: 50-200ms a mais. Ganho: groundedness +5-15 pp consistente.

from sentence_transformers import CrossEncoder
rer = CrossEncoder('BAAI/bge-reranker-large')

candidatos = retriever.search(query, top_k=50)
pairs = [(query, c.text) for c in candidatos]
scores = rer.predict(pairs)

top5 = sorted(zip(candidatos, scores), key=lambda x: -x[1])[:5]

Contextual retrieval (Anthropic, 2024): antes de embedar cada chunk, o LLM gera uma frase curta de contexto sobre o documento e prefixa no chunk. Resultado: chunks isolados deixam de perder referência. Anthropic reporta -49% em failure rate (recall@20) com contextual retrieval + reranker. Custo: 1 chamada LLM por chunk no index time (mitigado por prompt caching).

for doc in corpus:
    chunks = chunk_by_paragraph(doc.text)
    for chunk in chunks:
        contexto = llm_describe(
            f'<doc>{doc.text}</doc>\n<chunk>{chunk}</chunk>\n'
            'Em 1 frase: como este chunk se situa no doc?'
        )
        chunk_aumentado = f'{contexto}\n\n{chunk}'
        index.add(embed(chunk_aumentado), metadata={...})

Sem citação explícita, você não sabe se o modelo grounded a resposta ou alucinou. Padrão: incluir IDs visíveis no contexto (<chunk id=42>...</chunk>) e instruir 'cite o id após cada afirmação'. Eval de groundedness depende disso para ser objetivo.

system = '''Responda APENAS com base no contexto fornecido.
Cite o id de cada chunk usado, no formato [chunk:42].
Se a resposta não está no contexto, diga: 'Não tenho informação suficiente'.
Não invente fatos.'''

ctx = '\n'.join(f'<chunk id={c.id}>{c.text}</chunk>' for c in top5)

Modelos preferem responder algo a admitir ignorância — viés conhecido. Combate: instrução explícita 'se a resposta não está no contexto, diga não sei' + few-shot mostrando casos de abstenção. Sem isso, alucinação em RAG é a regra, não a exceção.

<exemplos>
  <ex>
    <ctx><chunk id=1>O céu é azul.</chunk></ctx>
    <q>Qual a cor do mar?</q>
    <a>Não tenho informação suficiente no contexto.</a>
  </ex>
  <ex>
    <ctx><chunk id=2>O mar é azul.</chunk></ctx>
    <q>Qual a cor do mar?</q>
    <a>O mar é azul [chunk:2].</a>
  </ex>
</exemplos>

Query do usuário é tipicamente curta e ambígua. Query rewriting expande sinônimos ou decompõe em sub-perguntas; HyDE (Gao et al. 2022) gera resposta hipotética com LLM e usa essa resposta como query — surpreendentemente eficaz para queries factuais. Custo: 1 chamada LLM extra; ganho: +5-10% em recall.

def hyde_search(query: str, retriever) -> list:
    # 1. gera resposta hipotética (sem contexto)
    hipotetica = llm.generate(
        f'Responda em 2 frases (mesmo que invente): {query}'
    )
    # 2. usa a resposta como query (semanticamente mais rica)
    return retriever.search(hipotetica, top_k=10)