E1 · Rodar e abrir
15 minRode o auditor no seu site (ou no de um cliente, com aviso) com --max 50 e --saida.
Pronto quando: a pasta tem relatorio.html, auditoria.json, achados.csv e paginas.csv, e o relatório abre no navegador.
Aula 2 · 18 min
auditor: o raio-x do site inteiro
O raio-x do curso 1 olha uma página por vez. O auditor rastreia o site com educação, como um robô que não roda JavaScript, e confere cada página: canônico, hreflang, sitemap, órfãs, robots.txt por finalidade de robô de IA e bloqueio de CDN. Cada achado sai com prioridade e uma linha de como corrigir.
Começar a aula
Nesta aula você vai
- 1Como o auditor rastreia sem pesar no servidor
- 2O que ele confere em cada página e no site
- 3Ler o robots.txt por finalidade e o teste de CDN
- 4O limite honesto: crawl parcial e o que fica de fora
Objetivo: rodar o auditor no seu site e ordenar os achados por prioridade, com a linha de correção de cada um.
01O caminho do auditor
Só GET, uma requisição por segundo, no máximo as páginas que você pedir. Clique em cada etapa.
Clique em cada bloco do diagrama para ver o que ele faz.
Rastreia devagar, lê como robô, devolve uma lista em ordem de prioridade.
02Rodar, ler, priorizar
Clique em cada etapa.
1. Rodar
Rode na home com --max 50 e uma pasta de saída. Com pausa de 1 s, um site pequeno leva um ou dois minutos.
Use -q para não listar cada página no terminal.
Educação
A pausa mínima é 0,5 s e cada resposta é cortada em 2 MB. Num site de cliente, avise antes de rodar.
2. Crítico
Crítico é o que tira páginas do buscador: robots.txt com erro 5xx (vira tudo bloqueado), Disallow geral, robô de busca bloqueado, link interno quebrado, noindex em URL do sitemap.
Se tiver crítico, pare e corrija antes de olhar o resto.
3. Importante
Canônico ausente ou múltiplo, hreflang sem volta, sitemap sem lastmod, página com menos de 80 palavras no HTML.
Melhoria (título longo, sem JSON-LD, imagem sem alt) entra na fila do mês.
Não é regra do Google
A faixa de título de 15 a 65 caracteres vem do webmcp-readiness. O Google corta pela largura; trate como lembrete, não como erro.
4. Robô de treino
GPTBot, ClaudeBot e Google-Extended bloqueados aparecem como info: bloquear treino não tira o site da busca.
Robô de busca bloqueado, no robots ou na CDN, é crítico: some das respostas daquele assistente.
03Os comandos do auditor
Rode a partir da pasta ferramentas/auditor do inemaseo-sistemas.
Terminal · o seu site
cd ferramentas/auditor python3 auditor.py https://seusite.com --max 50 -q --saida auditoria/seusite
Terminal · só a pasta de um guia no GitHub Pages
python3 auditor.py https://usuario.github.io/repo/guia/ --max 20 --saida auditoria/guia
Terminal · achados críticos e importantes do CSV
grep -E '^(critico|importante),' auditoria/seusite/achados.csv
Exemplo do repositório
python3 auditor.py https://inema.club --max 50 (sem -q, lista encurtada):
[ 1/50] 200 https://www.inema.club/ [ 2/50] 200 https://www.inema.club/en/ (…) [50/50] 200 https://www.inema.club/conhecimento/metodologia-de-ensino-do-inema/ www.inema.club: 50 páginas, 0 crítico(s), 1 importante(s), 2 melhoria(s). Relatório: …/relatorio.html [importante] Pouco texto no HTML entregue (< 80 palavras)
No achados.csv, o importante aponta duas fichas: /conhecimento/curso-atia/ (77) e /conhecimento/curso-codex-basico/ (78). O JSON registra 62 requisições e 1.287 URLs ainda na fila.
Do auditoria.json do mesmo rastreio:
busca Googlebot, Bingbot, OAI-SearchBot,
Claude-SearchBot, PerplexityBot → liberados
usuário ChatGPT-User, Claude-User,
Perplexity-User → liberados (grupo *)
treino GPTBot, ClaudeBot, Google-Extended → liberados
CDN OAI-SearchBot 200 · PerplexityBot 200
Perplexity-User 200 · GPTBot 200Num guia do GitHub Pages (rea-engenharia-reversa/guia/), o exemplo do repositório mostra "robots.txt não existe": o robots.txt que vale é o da raiz do host, de outro repositório.
- Ler "órfã" como verdade absoluta: com --max 50 num site de 1.000 URLs, órfã quer dizer "sem link nas 50 páginas lidas".
- Achar que mede velocidade: Core Web Vitals e backlinks ficam de fora; use PageSpeed e a Inspeção de URL.
- Confiar só no teste de CDN: ele vê regra por User-Agent; CDN que confere o IP do robô real pode agir diferente.
04Prática: a auditoria do seu site
Guarde a pasta de saída: na aula 7 você compara mês a mês.
E2 · Três achados em ordem
20 minEscolha os 3 achados de maior prioridade (se não houver crítico nem importante, os 3 primeiros de melhoria) e anote a URL e a linha de como corrigir.
Pronto quando: lista com 3 linhas em ordem de prioridade, cada uma com URL, achado e correção copiada do relatório.
05Teste o que aprendeu
A explicação aparece depois da sua resposta.
Pergunta 1 de 4
O robots.txt do seu site responde erro 503. Como o auditor trata isso?competência
Correto
Pela RFC 9309, erro 5xx no robots.txt equivale a tudo bloqueado; já 4xx (arquivo não existe) equivale a sem restrição. Por isso 5xx é crítico.Não é essa
Pela RFC 9309, erro 5xx no robots.txt equivale a tudo bloqueado; já 4xx (arquivo não existe) equivale a sem restrição. Por isso 5xx é crítico.Rever: Rodar, ler, priorizarPergunta 2 de 4
O relatório diz que GPTBot está bloqueado. Qual a prioridade?
Correto
GPTBot é de treino. Quem busca e cita no ChatGPT é o OAI-SearchBot. Bloquear treino é escolha do dono; bloquear busca é crítico.Não é essa
GPTBot é de treino. Quem busca e cita no ChatGPT é o OAI-SearchBot. Bloquear treino é escolha do dono; bloquear busca é crítico.Rever: Rodar, ler, priorizarPergunta 3 de 4
Com --max 50 num site de 1.000 URLs, uma página aparece como órfã. O que isso quer dizer?
Correto
O crawl é parcial. O relatório diz quantas URLs ficaram na fila; aumente o --max ou confira os links antes de concluir.Não é essa
O crawl é parcial. O relatório diz quantas URLs ficaram na fila; aumente o --max ou confira os links antes de concluir.Rever: Os comandos do auditorPergunta 4 de 4
Por que o auditor não roda JavaScript?
Correto
O Google renderiza JavaScript; para ver o que ele vê, use a Inspeção de URL. Muitos outros robôs podem não renderizar, e o auditor mostra essa visão.Não é essa
O Google renderiza JavaScript; para ver o que ele vê, use a Inspeção de URL. Muitos outros robôs podem não renderizar, e o auditor mostra essa visão.Rever: O caminho do auditorTeste concluído
Você acertou {a} de {n}. Acertando todas, a aula é marcada como concluída.Escolha uma alternativa. A explicação aparece depois da sua tentativa.
06Para levar
EducadoSó GET, pausa de 1 s, --max páginas, respeita o robots.txt.
OrdemCrítico, importante, melhoria. Robô de treino bloqueado é info.
LimiteCrawl parcial; CDN só por User-Agent; sem velocidade nem backlinks.