E1 · La muestra
10 minEjecuta el análisis en la muestra montada y encuentra en el informe los robots falsos y la página que ningún robot leyó.
Listo cuando: anotaste qué robots tenían acceso falso y qué página del sitemap quedó sin lectura.
Clase 6 · 17 min
botlog: quién lee tu sitio de verdad
El robots.txt dice lo que permites; el log del servidor dice quién vino. El botlog lee el log de acceso, separa los robots de IA por finalidad (búsqueda, pedido del usuario, entrenamiento), verifica la IP en la lista oficial de la empresa y muestra los falsos. Y filtra el log antes de guardarlo, porque la IP de una persona es dato personal.
Empezar la clase
En esta clase vas a
- 1Las cuatro finalidades y qué pasa si bloqueas cada una
- 2Robot falso: por qué el User-Agent no basta
- 3Ejecutar el análisis en un log de nginx o de Cloudflare
- 4Filtrar el log antes de guardarlo (LGPD)
Objetivo: separar en el log los robots de IA por finalidad, encontrar los falsos y filtrar el log antes de guardarlo o compartirlo.
01Del log a la lista de quién leyó
Cada línea del log pasa por cuatro preguntas. Haz clic en cada una.
Haz clic en cada bloque del diagrama para ver qué hace.
El log muestra quién pidió la página, no si la IA usó el contenido. Para la citación, la clase 5.
02Leer el informe
Haz clic en cada punto.
1. Finalidad
Bloquear la búsqueda de IA = desaparecer de las respuestas con fuente de ese asistente. Bloquear al agente del usuario = la IA no abre la página cuando alguien se lo pide.
Bloquear el entrenamiento saca el sitio del entrenamiento de modelos futuros, sin desaparecer de la búsqueda.
2. Falsos
Cualquiera escribe GPTBot en el User-Agent. Sin verificar la IP, el conteo se infla.
El informe muestra la IP solo de los robots falsos, para que los bloquees si quieres.
3. 403 para IA
Un robot de IA auténtico que recibe 403 suele ser un bloqueo de la CDN o del WAF, no del robots.txt.
Desde el 15/09/2026 Cloudflare gratis bloquea por defecto los robots de entrenamiento y los agentes en páginas con anuncios: revisa el panel de tu sitio.
4. LGPD
La IP de quien no es un robot es un dato personal. Antes de mostrar, publicar o guardar un log por mucho tiempo, ejecuta filtrar: quedan solo las líneas de robots con IP oficial.
Una lista vieja genera un "falso" falso: la de Bing en la carpeta es de ene/2024. Actualiza la carpeta listas/.
03Analizar y filtrar
Ejecuta desde la carpeta ferramentas/botlog. La muestra MONTADO usa User-Agents oficiales e IPs de rangos de documentación (RFC 5737), que no son de nadie.
Terminal · analisar (varios archivos, .gz incluido)
cd ferramentas/botlog python3 botlog.py analisar ../../exemplos/botlog/entrada/MONTADO_access.log ../../exemplos/botlog/entrada/MONTADO_cloudflare.jsonl \ --sitemap ../../exemplos/botlog/entrada/MONTADO_sitemap.xml --saida saida/montado
Terminal · tu servidor (solo lectura) y tu sitemap
ssh root@TU_SERVIDOR 'cd /var/log/nginx; zcat -f access.log.*.gz; cat access.log.1 access.log' > /tmp/site.log python3 botlog.py analisar /tmp/site.log --sitemap https://tusitio.com/sitemap.xml --saida saida/site
Terminal · LGPD: solo robots con IP oficial
python3 botlog.py filtrar /tmp/site.log --saida /tmp/solo-robots.log rm /tmp/site.log # el log completo no necesita quedarse
Ejemplo del repositorio
26 linhas, 22 de robô (treino 6, busca 5, buscador 4, usuario 3); falsos 4; nunca visitadas 1/6 → saida/montado/relatorio.html
Del robos.csv (muestra montada):
robo finalidade acessos autênticos falsos erros GPTBot treino 5 3 2 2 ClaudeBot treino 3 3 0 2 Googlebot buscador 3 2 1 0 OAI-SearchBot busca 3 3 0 0 PerplexityBot busca 2 1 1 0
Los 2 errores de ClaudeBot simulan un bloqueo de CDN (403).
Log de nginx de desenho.inema.pro, 05/10 a 19/10/2026, ya pasado por filtrar (el original tenía 3.082 líneas; quedaron 8, solo robots con IP oficial):
8 linhas, 8 de robô (treino 6, busca 2); falsos 0; nunca visitadas 0/1 → saida/real/relatorio.html
Y el filtrar en la muestra montada:
16 de 23 linha(s) mantidas (só robôs com IP oficial) → /tmp/solo-robots.log
- Contar por el User-Agent: sin verificar la IP, un robot falso se vuelve "acceso de IA".
- Buscar Google-Extended en el log: no aparece; es un token de robots.txt.
- Mirar solo el log del servidor detrás de una CDN: ve solo lo que pasó por la CDN, a veces con la IP de ella. Usa el log de la CDN.
- Publicar el log entero: la IP de una persona es un dato personal; filtra antes.
04Práctica: quién te lee
¿No tienes acceso al log del servidor? Haz el E1 y pide el log de la CDN o del hosting para el E2.
E2 · Tu log, filtrado
30 minCopia el log de tu servidor (solo lectura), ejecuta analisar y después filtrar; borra el log completo.
Listo cuando: tienes el informe por finalidad, la línea "N de M linha(s) mantidas" de filtrar y el log completo borrado.
05Prueba lo que aprendiste
La explicación aparece después de tu respuesta.
Pregunta 1 de 4
El log muestra 50 accesos de "GPTBot". ¿Qué falta para creerlo?competencia
Correcto
Cualquiera escribe GPTBot en el User-Agent. botlog verifica la IP en la lista publicada; si está fuera de ella, es falso y no cuenta.No es esa
Cualquiera escribe GPTBot en el User-Agent. botlog verifica la IP en la lista publicada; si está fuera de ella, es falso y no cuenta.Repasar: Del log a la lista de quién leyóPregunta 2 de 4
Bloqueas GPTBot y ClaudeBot. ¿Qué pasa?
Correcto
Son robots de entrenamiento. Quienes buscan y citan son OAI-SearchBot y Claude-SearchBot; quienes abren a pedido son ChatGPT-User y Claude-User.No es esa
Son robots de entrenamiento. Quienes buscan y citan son OAI-SearchBot y Claude-SearchBot; quienes abren a pedido son ChatGPT-User y Claude-User.Repasar: Leer el informePregunta 3 de 4
ClaudeBot auténtico recibe 403 en el log. ¿Causa más probable?
Correcto
robots.txt es una petición; el robot educado ni siquiera pide la página. 403 es una respuesta del servidor o de la CDN, que lo impone. Revisa el panel de la CDN.No es esa
robots.txt es una petición; el robot educado ni siquiera pide la página. 403 es una respuesta del servidor o de la CDN, que lo impone. Revisa el panel de la CDN.Repasar: Leer el informePregunta 4 de 4
¿Por qué ejecutar filtrar antes de guardar el log?
Correcto
Un robot verificado no es una persona. El resto del log tiene IP de visitantes, que no deben publicarse ni guardarse sin necesidad.No es esa
Un robot verificado no es una persona. El resto del log tiene IP de visitantes, que no deben publicarse ni guardarse sin necesidad.Repasar: Analizar y filtrarPrueba completada
Acertaste {a} de {n}. Si aciertas todas, la clase se marca como completada.Elige una alternativa. La explicación aparece después de tu intento.
06Para llevar
FinalidadBúsqueda, usuario, entrenamiento y buscador: bloquear cada uno cuesta cosas distintas.
IP oficialEl User-Agent no prueba nada; un robot falso no cuenta.
LGPDfiltra antes de guardar o mostrar; borra el log completo.