E1 · Ejecutar y abrir
15 minEjecuta el auditor en tu sitio (o en el de un cliente, avisándole) con --max 50 y --saida.
Listo cuando: la carpeta tiene relatorio.html, auditoria.json, achados.csv y paginas.csv, y el informe se abre en el navegador.
Clase 2 · 18 min
auditor: la radiografía del sitio completo
La radiografía del curso 1 mira una página a la vez. El auditor rastrea el sitio con buenos modales, como un robot que no ejecuta JavaScript, y revisa cada página: canónico, hreflang, sitemap, huérfanas, robots.txt por finalidad de robot de IA y bloqueo de CDN. Cada hallazgo sale con prioridad y una línea de cómo corregirlo.
Empezar la clase
En esta clase vas a
- 1Cómo el auditor rastrea sin cargar el servidor
- 2Qué revisa en cada página y en el sitio
- 3Leer el robots.txt por finalidad y la prueba de CDN
- 4El límite honesto: rastreo parcial y lo que queda fuera
Objetivo: ejecutar el auditor en tu sitio y ordenar los hallazgos por prioridad, con la línea de corrección de cada uno.
01El camino del auditor
Solo GET, una solicitud por segundo, como máximo las páginas que tú pidas. Haz clic en cada etapa.
Haz clic en cada bloque del diagrama para ver qué hace.
Rastrea despacio, lee como robot y devuelve una lista en orden de prioridad.
02Ejecutar, leer, priorizar
Haz clic en cada etapa.
1. Ejecutar
Ejecútalo en la home con --max 50 y una carpeta de salida. Con una pausa de 1 s, un sitio pequeño tarda uno o dos minutos.
Usa -q para no listar cada página en la terminal.
Educación
La pausa mínima es de 0,5 s y cada respuesta se corta en 2 MB. En el sitio de un cliente, avisa antes de ejecutarlo.
2. Crítico
Crítico es lo que saca páginas del buscador: robots.txt con error 5xx (se vuelve todo bloqueado), Disallow general, robot de búsqueda bloqueado, link interno roto, noindex en una URL del sitemap.
Si hay críticos, detente y corrígelos antes de mirar el resto.
3. Importante
Canónico ausente o múltiple, hreflang sin vuelta, sitemap sin lastmod, página con menos de 80 palabras en el HTML.
Mejora (título largo, sin JSON-LD, imagen sin alt) entra en la cola del mes.
No es regla de Google
El rango de título de 15 a 65 caracteres viene de webmcp-readiness. Google corta por ancho; tómalo como recordatorio, no como error.
4. Robot de entrenamiento
GPTBot, ClaudeBot y Google-Extended bloqueados aparecen como info: bloquear el entrenamiento no saca al sitio de la búsqueda.
Robot de búsqueda bloqueado, en el robots o en la CDN, es crítico: desaparece de las respuestas de ese asistente.
03Los comandos del auditor
Ejecútalo desde la carpeta ferramentas/auditor de inemaseo-sistemas.
Terminal · tu sitio
cd ferramentas/auditor python3 auditor.py https://tusitio.com --max 50 -q --saida auditoria/tusitio
Terminal · solo la carpeta de una guía en GitHub Pages
python3 auditor.py https://usuario.github.io/repo/guia/ --max 20 --saida auditoria/guia
Terminal · hallazgos críticos e importantes del CSV
grep -E '^(critico|importante),' auditoria/tusitio/achados.csv
Ejemplo del repositorio
python3 auditor.py https://inema.club --max 50 (sin -q, lista acortada):
[ 1/50] 200 https://www.inema.club/ [ 2/50] 200 https://www.inema.club/en/ (…) [50/50] 200 https://www.inema.club/conhecimento/metodologia-de-ensino-do-inema/ www.inema.club: 50 páginas, 0 crítico(s), 1 importante(s), 2 melhoria(s). Relatório: …/relatorio.html [importante] Pouco texto no HTML entregue (< 80 palavras)
En el achados.csv, el importante señala dos fichas: /conhecimento/curso-atia/ (77) y /conhecimento/curso-codex-basico/ (78). El JSON registra 62 solicitudes y 1.287 URLs aún en la cola.
Del auditoria.json del mismo rastreo:
busca Googlebot, Bingbot, OAI-SearchBot,
Claude-SearchBot, PerplexityBot → liberados
usuário ChatGPT-User, Claude-User,
Perplexity-User → liberados (grupo *)
treino GPTBot, ClaudeBot, Google-Extended → liberados
CDN OAI-SearchBot 200 · PerplexityBot 200
Perplexity-User 200 · GPTBot 200En una guía de GitHub Pages (rea-engenharia-reversa/guia/), el ejemplo del repositorio muestra "robots.txt não existe": el robots.txt que vale es el de la raíz del host, de otro repositorio.
- Leer "huérfana" como verdad absoluta: con --max 50 en un sitio de 1.000 URLs, huérfana quiere decir "sin enlace en las 50 páginas leídas".
- Creer que mide velocidad: Core Web Vitals y backlinks quedan fuera; usa PageSpeed y la Inspección de URL.
- Confiar solo en la prueba de CDN: ve la regla por User-Agent; un CDN que verifica la IP del robot real puede actuar distinto.
04Práctica: la auditoría de tu sitio
Guarda la carpeta de salida: en la clase 7 comparas mes a mes.
E2 · Tres hallazgos en orden
20 minElige los 3 hallazgos de mayor prioridad (si no hay crítico ni importante, los 3 primeros de mejora) y anota la URL y la línea de cómo corregir.
Listo cuando: lista con 3 líneas en orden de prioridad, cada una con URL, hallazgo y corrección copiada del informe.
05Prueba lo que aprendiste
La explicación aparece después de tu respuesta.
Pregunta 1 de 4
El robots.txt de tu sitio responde error 503. ¿Cómo lo trata el auditor?competencia
Correcto
Según la RFC 9309, un error 5xx en el robots.txt equivale a todo bloqueado; en cambio, un 4xx (el archivo no existe) equivale a sin restricción. Por eso el 5xx es crítico.No es esa
Según la RFC 9309, un error 5xx en el robots.txt equivale a todo bloqueado; en cambio, un 4xx (el archivo no existe) equivale a sin restricción. Por eso el 5xx es crítico.Repasar: Ejecutar, leer, priorizarPregunta 2 de 4
El informe dice que GPTBot está bloqueado. ¿Cuál es la prioridad?
Correcto
GPTBot es de entrenamiento. Quien busca y cita en ChatGPT es OAI-SearchBot. Bloquear el entrenamiento es decisión del dueño; bloquear la búsqueda es crítico.No es esa
GPTBot es de entrenamiento. Quien busca y cita en ChatGPT es OAI-SearchBot. Bloquear el entrenamiento es decisión del dueño; bloquear la búsqueda es crítico.Repasar: Ejecutar, leer, priorizarPregunta 3 de 4
Con --max 50 en un sitio de 1.000 URLs, una página aparece como huérfana. ¿Qué significa?
Correcto
El rastreo es parcial. El informe dice cuántas URLs quedaron en la cola; aumenta el --max o revisa los enlaces antes de concluir.No es esa
El rastreo es parcial. El informe dice cuántas URLs quedaron en la cola; aumenta el --max o revisa los enlaces antes de concluir.Repasar: Los comandos del auditorPregunta 4 de 4
¿Por qué el auditor no ejecuta JavaScript?
Correcto
Google renderiza JavaScript; para ver lo que él ve, usa la Inspección de URL. Muchos otros robots pueden no renderizar, y el auditor muestra esa vista.No es esa
Google renderiza JavaScript; para ver lo que él ve, usa la Inspección de URL. Muchos otros robots pueden no renderizar, y el auditor muestra esa vista.Repasar: El camino del auditorPrueba completada
Acertaste {a} de {n}. Si aciertas todas, la clase se marca como completada.Elige una alternativa. La explicación aparece después de tu intento.
06Para llevar
EducadoSolo GET, pausa de 1 s, --max páginas, respeta el robots.txt.
OrdenCrítico, importante, mejora. Un robot de entrenamiento bloqueado es info.
LímiteRastreo parcial; CDN solo por User-Agent; sin velocidad ni backlinks.