E1 · O exemplo por finalidade
5 minRode o bloco do robots.txt de exemplo e abra kit/site/robots.txt para ver os comentários de cada grupo.
Pronto quando: python3 robots.py site/robots.txt → linha treino com GPTBot bloqueado e saída: 0.
Aula 6 · 15 min
Quem está chegando: robôs por finalidade e agentes assinados (o conceito)
Nem todo robô de IA que visita o seu site faz a mesma coisa: uns indexam para a busca, outros leem a pedido de uma pessoa, outros coletam para treino. O robots.txt pede por finalidade, mas não prova quem é quem. Nesta aula você lê o seu robots.txt por finalidade e entende o que o rascunho Web Bot Auth propõe para identificar o agente.
Começar a aula
Nesta aula você vai
- 1Busca, ação do usuário e treino: três finalidades
- 2O robots.txt lido pelo robots.py do kit
- 3Por que o nome no User-Agent não prova nada
- 4Web Bot Auth e signed agents, como conceito
Objetivo: ler o seu robots.txt por finalidade e entender por que só uma assinatura na requisição identifica o agente.
01Quem bate na porta, e como saber
Clique em cada bloco.
Clique em cada bloco do diagrama para ver o que ele faz.
Finalidade se decide no robots.txt; identidade só com assinatura. A segurança disso a fundo é o curso 4.
02Pedido × identidade
O que cada coisa resolve.
1. robots.txt
Um grupo por User-agent com Allow e Disallow. Quem respeita são os robôs que seguem a regra; quem impõe é a CDN ou o firewall.
Escreva a decisão por finalidade e anote o motivo num comentário. O passo a passo completo é da aula 6 do curso Fundação da inemaSEO.
2. User-Agent
Cada robô se apresenta pelo nome no cabeçalho User-Agent. É só texto: qualquer programa pode escrever "GPTBot". Serve para estatística, não para confiar.
3. Assinatura
No rascunho draft-ietf-webbotauth-httpsig-protocol (set/2026, Cloudflare e Google, documento de grupo do IETF, ainda não RFC), o agente assina a requisição e manda o cabeçalho Signature-Agent; as chaves ficam num diretório JWKS em URI well-known.
Na Cloudflare, desde 01/07/2026, signed agents contam como Verified, com o campo "Direct versus Intermediary access".
O que muda para você agora
Nada para instalar neste curso. Saber que existe ajuda a ler o painel da CDN e a não confiar só no nome do robô.
03O robots.txt lido por finalidade
O robots.py lê um robots.txt (arquivo ou URL) e diz, por finalidade, quem pode entrar na raiz do site. Regra simplificada: só a raiz "/"; parcial = bloqueia alguns caminhos.
Terminal · o robots.txt de exemplo
cd ~/projetos/formacao-webmcp-base-v72/kit python3 robots.py site/robots.txt; echo "saída: $?"
Modelo · o seu site
cd ~/projetos/formacao-webmcp-base-v72/kit python3 robots.py https://<seu-site>/robots.txt; echo "saída: $?"
Exemplo do repositório
grupos no arquivo: *, chatgpt-user, claude-searchbot, claude-user, claudebot, google-extended, gptbot, oai-searchbot, perplexity-user, perplexitybot busca OAI-SearchBot liberado · Claude-SearchBot liberado · PerplexityBot liberado · Googlebot parcial (*) · Bingbot parcial (*) ação do usuário ChatGPT-User liberado · Claude-User liberado · Perplexity-User liberado treino GPTBot bloqueado · ClaudeBot bloqueado · Google-Extended bloqueado lembrete: robots.txt pede, não identifica. Quem prova quem é: assinatura na requisição (Web Bot Auth, rascunho IETF). saída: 0
A oficina de exemplo libera busca e ação do usuário e bloqueia treino. Googlebot e Bingbot não têm grupo próprio: valem as regras do *, que bloqueia só /admin/ (por isso "parcial").
grupos no arquivo: *, bingbot, claude-searchbot, claudebot, googlebot, oai-searchbot, perplexitybot busca OAI-SearchBot liberado · Claude-SearchBot liberado · PerplexityBot liberado · Googlebot liberado · Bingbot liberado ação do usuário ChatGPT-User liberado (*) · Claude-User liberado (*) · Perplexity-User liberado (*) treino GPTBot liberado (*) · ClaudeBot liberado · Google-Extended liberado (*) lembrete: robots.txt pede, não identifica. Quem prova quem é: assinatura na requisição (Web Bot Auth, rascunho IETF). saída: 0
O inema.club libera tudo, inclusive treino: é conteúdo aberto e escolheu liberar. Os robôs de ação do usuário não têm grupo próprio e caem no *.
04Prática
O exemplo, o seu robots.txt e a decisão anotada.
E2 · O seu robots.txt
10 minRode o modelo com o endereço do seu site. Copie as linhas de busca, ação do usuário e treino para o plano (seção "Quem pode entrar").
Pronto quando: a saída tem as linhas busca, ação do usuário e treino e termina em saída: 0.
E3 · O que vale de verdade
10 minAbra o painel da sua CDN ou hospedagem e veja se há bloqueio de robôs de IA ou lista de agentes verificados. Anote se ela concorda com o robots.txt.
Pronto quando: o plano tem uma linha dizendo qual CDN (ou "sem CDN") e se o painel concorda com o robots.txt.
05Teste da aula
Pergunta 1 de 4
Uma pessoa cola o link do seu site no assistente e pede um resumo. Que tipo de robô lê a página?competência
Correto
Robôs de ação do usuário visitam a página a pedido de alguém. Bloqueá-los impede o assistente de ler o seu site até quando o cliente pede.Não é essa
Robôs de ação do usuário visitam a página a pedido de alguém. Bloqueá-los impede o assistente de ler o seu site até quando o cliente pede.Rever: Quem bate na porta, e como saberPergunta 2 de 4
O seu log mostra User-Agent "GPTBot". Isso prova que foi a OpenAI?competência
Correto
O nome declara, não prova. Prova vem de assinatura na requisição (Web Bot Auth, rascunho) ou da verificação que a CDN faz.Não é essa
O nome declara, não prova. Prova vem de assinatura na requisição (Web Bot Auth, rascunho) ou da verificação que a CDN faz.Rever: Pedido × identidadePergunta 3 de 4
O que o rascunho Web Bot Auth propõe?
Correto
Assinatura HTTP (RFC 9421), cabeçalho Signature-Agent e chaves num diretório JWKS em URI well-known. Rascunho no IETF, não RFC.Não é essa
Assinatura HTTP (RFC 9421), cabeçalho Signature-Agent e chaves num diretório JWKS em URI well-known. Rascunho no IETF, não RFC.Rever: Quem bate na porta, e como saberPergunta 4 de 4
O robots.txt libera tudo, mas um agente não consegue ler o site. Onde olhar primeiro?
Correto
Quem bloqueia de verdade é a CDN ou o firewall. Se o painel bloqueia o que o robots.txt libera, vale o painel.Não é essa
Quem bloqueia de verdade é a CDN ou o firewall. Se o painel bloqueia o que o robots.txt libera, vale o painel.Rever: Pedido × identidadeTeste concluído
Você acertou {a} de {n}. Acertando todas, a aula é marcada como concluída.Escolha uma alternativa. A explicação aparece depois da sua tentativa.
06Em três frases
Três finalidadesBusca, ação do usuário e treino: decida uma por uma.
Pedido não é provarobots.txt pede, User-Agent declara, a CDN impõe.
Assinatura é o caminhoWeb Bot Auth assina a requisição; ainda é rascunho.