E1 · A amostra
10 minRode a análise na amostra montada e encontre no relatório os falsos robôs e a página que nenhum robô leu.
Pronto quando: você anotou quais robôs tinham acesso falso e qual página do sitemap ficou sem leitura.
Aula 6 · 17 min
botlog: quem lê o seu site de verdade
O robots.txt diz o que você permite; o log do servidor diz quem veio. O botlog lê o log de acesso, separa os robôs de IA por finalidade (busca, pedido do usuário, treino), confere o IP de cada um na lista oficial da empresa e mostra os falsos. E filtra o log antes de você guardar ou mostrar, porque IP de pessoa é dado pessoal.
Começar a aula
Nesta aula você vai
- 1As quatro finalidades e o que acontece se você bloquear cada uma
- 2Falso robô: por que o User-Agent não basta
- 3Rodar a análise num log nginx ou da Cloudflare
- 4Filtrar o log antes de guardar (LGPD)
Objetivo: separar no log os robôs de IA por finalidade, achar os falsos e filtrar o log antes de guardar ou compartilhar.
01Do log à lista de quem leu
Cada linha do log passa por quatro perguntas. Clique em cada uma.
Clique em cada bloco do diagrama para ver o que ele faz.
Log mostra quem pediu a página, não se a IA usou o conteúdo. Para citação, a aula 5.
02Ler o relatório
Clique em cada ponto.
1. Finalidade
Bloquear busca de IA = sumir das respostas com fonte daquele assistente. Bloquear o agente do usuário = a IA não abre a página quando alguém pede.
Bloquear treino tira o site do treino de modelos futuros, sem sumir da busca.
2. Falsos
Qualquer um escreve GPTBot no User-Agent. Sem conferir o IP, a contagem infla.
O relatório mostra o IP só dos falsos robôs, para você bloquear se quiser.
3. 403 para IA
Robô de IA autêntico recebendo 403 costuma ser bloqueio da CDN ou do WAF, não do robots.txt.
Desde 15/09/2026 o Cloudflare gratuito bloqueia por padrão robôs de treino e agentes em páginas com anúncios: confira no painel do seu site.
4. LGPD
IP de quem não é robô é dado pessoal. Antes de mostrar, publicar ou guardar um log por muito tempo, rode filtrar: ficam só as linhas de robô com IP oficial.
Lista velha gera falso "falso": a do Bing na pasta é de jan/2024. Atualize a pasta listas/.
03Analisar e filtrar
Rode a partir da pasta ferramentas/botlog. A amostra MONTADO usa User-Agents oficiais e IPs de faixas de documentação (RFC 5737), que não são de ninguém.
Terminal · analisar (vários arquivos, .gz incluso)
cd ferramentas/botlog python3 botlog.py analisar ../../exemplos/botlog/entrada/MONTADO_access.log ../../exemplos/botlog/entrada/MONTADO_cloudflare.jsonl \ --sitemap ../../exemplos/botlog/entrada/MONTADO_sitemap.xml --saida saida/montado
Terminal · o seu servidor (só leitura) e o seu sitemap
ssh root@SEU_SERVIDOR 'cd /var/log/nginx; zcat -f access.log.*.gz; cat access.log.1 access.log' > /tmp/site.log python3 botlog.py analisar /tmp/site.log --sitemap https://seusite.com/sitemap.xml --saida saida/site
Terminal · LGPD: só robôs com IP oficial
python3 botlog.py filtrar /tmp/site.log --saida /tmp/so-robos.log rm /tmp/site.log # o log completo não precisa ficar
Exemplo do repositório
26 linhas, 22 de robô (treino 6, busca 5, buscador 4, usuario 3); falsos 4; nunca visitadas 1/6 → saida/montado/relatorio.html
Do robos.csv (amostra montada):
robo finalidade acessos autênticos falsos erros GPTBot treino 5 3 2 2 ClaudeBot treino 3 3 0 2 Googlebot buscador 3 2 1 0 OAI-SearchBot busca 3 3 0 0 PerplexityBot busca 2 1 1 0
Os 2 erros do ClaudeBot simulam bloqueio de CDN (403).
Log do nginx de desenho.inema.pro, 05/10 a 19/10/2026, já passado pelo filtrar (o original tinha 3.082 linhas; ficaram 8, só robôs com IP oficial):
8 linhas, 8 de robô (treino 6, busca 2); falsos 0; nunca visitadas 0/1 → saida/real/relatorio.html
E o filtrar na amostra montada:
16 de 23 linha(s) mantidas (só robôs com IP oficial) → /tmp/so-robos.log
- Contar pelo User-Agent: sem conferir IP, falso robô vira "acesso de IA".
- Procurar Google-Extended no log: ele não aparece; é token de robots.txt.
- Olhar só o log do servidor atrás de CDN: ele vê só o que passou pela CDN, às vezes com o IP dela. Use o log da CDN.
- Publicar o log inteiro: IP de pessoa é dado pessoal; filtre antes.
04Prática: quem lê você
Sem acesso ao log do servidor? Faça o E1 e peça o log da CDN ou da hospedagem para o E2.
E2 · O seu log, filtrado
30 minCopie o log do seu servidor (só leitura), rode analisar e depois filtrar; apague o log completo.
Pronto quando: você tem o relatório por finalidade, a linha "N de M linha(s) mantidas" do filtrar e o log completo apagado.
05Teste o que aprendeu
A explicação aparece depois da sua resposta.
Pergunta 1 de 4
O log mostra 50 acessos de "GPTBot". O que falta para acreditar?competência
Correto
Qualquer um escreve GPTBot no User-Agent. O botlog confere o IP na lista publicada; fora dela, é falso e não conta.Não é essa
Qualquer um escreve GPTBot no User-Agent. O botlog confere o IP na lista publicada; fora dela, é falso e não conta.Rever: Do log à lista de quem leuPergunta 2 de 4
Você bloqueia GPTBot e ClaudeBot. O que acontece?
Correto
São robôs de treino. Quem busca e cita é OAI-SearchBot e Claude-SearchBot; quem abre a pedido é ChatGPT-User e Claude-User.Não é essa
São robôs de treino. Quem busca e cita é OAI-SearchBot e Claude-SearchBot; quem abre a pedido é ChatGPT-User e Claude-User.Rever: Ler o relatórioPergunta 3 de 4
ClaudeBot autêntico recebe 403 no log. Causa mais provável?
Correto
robots.txt é pedido; o robô educado nem pede a página. 403 é resposta do servidor ou da CDN, que impõe. Confira o painel da CDN.Não é essa
robots.txt é pedido; o robô educado nem pede a página. 403 é resposta do servidor ou da CDN, que impõe. Confira o painel da CDN.Rever: Ler o relatórioPergunta 4 de 4
Por que rodar filtrar antes de guardar o log?
Correto
Robô verificado não é pessoa. O resto do log tem IPs de visitantes, que não devem ser publicados nem guardados sem necessidade.Não é essa
Robô verificado não é pessoa. O resto do log tem IPs de visitantes, que não devem ser publicados nem guardados sem necessidade.Rever: Analisar e filtrarTeste concluído
Você acertou {a} de {n}. Acertando todas, a aula é marcada como concluída.Escolha uma alternativa. A explicação aparece depois da sua tentativa.
06Para levar
FinalidadeBusca, usuário, treino e buscador: bloquear cada um custa coisas diferentes.
IP oficialUser-Agent não prova nada; falso robô não conta.
LGPDfiltrar antes de guardar ou mostrar; apague o log completo.