inemaSEO 1 — Fundação: o raio-x e o alicerce do seu site|INEMA.CLUB-PRO

Aula 6 · 18 min

robots.txt por finalidade: busca, ação do usuário e treino

"Bloquear as IAs" virou pedido comum, e quase sempre está mal formulado. Cada empresa de IA tem robôs diferentes para buscar, para abrir a página a pedido de alguém e para treinar modelos. Bloquear um não bloqueia os outros. E em 2026 a sua CDN pode estar decidindo por você.

Começar a aula
Porteiro de um prédio comercial confere crachás de visitantes na recepção.

Nesta aula você vai

  1. 1Os três tipos de robô de IA e o efeito de bloquear cada um
  2. 2Escrever o robots.txt em três grupos
  3. 3Conferir o bloqueio padrão da CDN
  4. 4Tratar o llms.txt como opcional barato

Objetivo: decidir no robots.txt e no painel da CDN o que liberar para busca, para ação do usuário e para treino.

01Quem bate na porta e o que acontece se você fechar

Clique em cada bloco.

Clique em cada bloco do diagrama para ver o que ele faz.

Decida por finalidade, escreva no robots.txt e confira se a CDN concorda.

02Decidir em quatro perguntas

Clique em cada uma.

1. Quero ser citado?

Para quase todo negócio, sim: libere os robôs de busca. É por eles que o seu site entra nas respostas.

Bloquear busca para "proteger o conteúdo" costuma ser o pior dos mundos: o texto já foi lido, e você some das respostas.

03O robots.txt em três grupos e o llms.txt opcional

Adapte a decisão de treino à sua. Troque o endereço do sitemap.

robots.txt · por finalidade
# robots.txt por finalidade (adaptado do templates/robots.txt do inemaSEO)
User-agent: *
Allow: /

# Busca: aparecer e ser citado nas respostas
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Googlebot
User-agent: Bingbot
Allow: /

# Ação do usuário: a IA abre a página a pedido de alguém
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Allow: /

# Treino: decisão sua. Este exemplo bloqueia; bloquear treino não tira da busca
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

Sitemap: https://www.seusite.com/sitemap.xml
llms.txt · opcional (templates/llms.txt, resumido)
# Seu Site

> Uma frase dizendo o que é, para quem e o que entrega.

## Principais páginas

- [Início](https://www.seusite.com/)
- [Sobre / quem faz](https://www.seusite.com/sobre/)
- [Catálogo](https://www.seusite.com/catalogo/)

## Dados para máquinas

- [Sitemap](https://www.seusite.com/sitemap.xml)
Anotação da decisão
Decisão de robôs de <seusite.com> em <dd/mm/aaaa>
- Busca: liberado (motivo: <...>)
- Ação do usuário: <liberado/bloqueado> (motivo: <...>)
- Treino: <liberado/bloqueado> (motivo: <...>)
- CDN: <nome>, bloqueio padrão de IA <ligado/desligado>, conferido no painel
- llms.txt: <sim/não> (opcional)
Exemplo do repositório

O templates/robots.txt do método põe o ClaudeBot junto dos robôs de busca. Pela documentação da Anthropic, o ClaudeBot coleta para treino; a busca é do Claude-SearchBot e a leitura a pedido é do Claude-User. O modelo acima separa os três e acrescenta os robôs de ação do usuário.

04Conversa simulada: o dono da pousada quer bloquear as IAs

Conversa fictícia para treinar. Escolha a resposta que você daria; o comentário aparece logo depois.

Dono de pousadasite pequeno · reservas vindas de busca

Escolha a sua resposta. O comentário aparece logo depois e a conversa segue conforme a escolha.

    05Prática: a decisão no seu site

    Use o bloco robots.txt do seu raio-x.txt.

    E1 · robots.txt em três grupos

    20 min

    Reescreva o seu robots.txt com os grupos busca, ação do usuário e treino, com um comentário dizendo o motivo da decisão de treino. Publique e rode o raio-x de novo.

    Pronto quando: o bloco robots.txt do raio-x mostra os três grupos e o Sitemap no fim.

    E2 · O painel da CDN

    15 min

    Abra o painel da sua CDN ou hospedagem e veja se há bloqueio de robôs de IA ligado. Preencha a anotação da decisão.

    Pronto quando: a anotação diz qual CDN, se o bloqueio padrão está ligado e se ele concorda com o robots.txt (ou "sem CDN").

    06Teste o que aprendeu

    A explicação aparece depois da sua resposta.

    Pergunta 1 de 4

    Você bloqueou GPTBot, ClaudeBot e Google-Extended. O que acontece com a busca?competência

    07Para levar

    Três finalidadesBusca, ação do usuário e treino: bloquear um não bloqueia os outros.
    Pedido × imposiçãorobots.txt pede; a CDN impõe. Confira o painel.
    Régua de 2026llms.txt é opcional e barato, não alavanca de citação.

    Para ir além

    OpenAI: robôs e o que cada um faz (inglês)Anthropic: robôs do Claude e como bloquear (inglês)Perplexity: robôs (inglês)Google: robôs comuns e Google-Extended (inglês)Ahrefs: estudo do llms.txt (inglês)
    Aula anteriorPróxima aula