Clase 6 · 15 min
No todo bot de IA que visita tu sitio hace lo mismo: unos indexan para la búsqueda, otros leen a pedido de una persona, otros recolectan para entrenamiento. El robots.txt pide por finalidad, pero no prueba quién es quién. En esta clase lees tu robots.txt por finalidad y entiendes qué propone el borrador Web Bot Auth para identificar al agente.
Comenzar la clase
Objetivo: leer tu robots.txt por finalidad y entender por qué solo una firma en la solicitud identifica al agente.
Haz clic en cada bloque.
La finalidad se decide en el robots.txt; la identidad, solo con firma. La seguridad de esto a fondo es el curso 4.
Qué resuelve cada cosa.
Un grupo por User-agent con Allow y Disallow. Quienes respetan la regla son los bots que la siguen; quien la impone es la CDN o el firewall.
Escribe la decisión por finalidad y anota el motivo en un comentario. El paso a paso completo está en la clase 6 del curso Fundación de inemaSEO.
Cada bot se presenta por su nombre en el encabezado User-Agent. Es solo texto: cualquier programa puede escribir "GPTBot". Sirve para estadísticas, no para confiar.
En el borrador draft-ietf-webbotauth-httpsig-protocol (sep/2026, Cloudflare y Google, documento de grupo del IETF, aún no es RFC), el agente firma la solicitud y envía el encabezado Signature-Agent; las claves quedan en un directorio JWKS en una URI well-known.
En Cloudflare, desde el 01/07/2026, los signed agents cuentan como Verified, con el campo "Direct versus Intermediary access".
No hay nada que instalar en este curso. Saber que existe te ayuda a leer el panel de la CDN y a no confiar solo en el nombre del bot.
robots.py lee un robots.txt (archivo o URL) y dice, por finalidad, quién puede entrar a la raíz del sitio. Regla simplificada: solo la raíz "/"; parcial = bloquea algunas rutas.
cd ~/projetos/formacao-webmcp-base-v72/kit python3 robots.py site/robots.txt; echo "saída: $?"
cd ~/projetos/formacao-webmcp-base-v72/kit python3 robots.py https://<tu-sitio>/robots.txt; echo "saída: $?"
grupos no arquivo: *, chatgpt-user, claude-searchbot, claude-user, claudebot, google-extended, gptbot, oai-searchbot, perplexity-user, perplexitybot busca OAI-SearchBot liberado · Claude-SearchBot liberado · PerplexityBot liberado · Googlebot parcial (*) · Bingbot parcial (*) ação do usuário ChatGPT-User liberado · Claude-User liberado · Perplexity-User liberado treino GPTBot bloqueado · ClaudeBot bloqueado · Google-Extended bloqueado lembrete: robots.txt pede, não identifica. Quem prova quem é: assinatura na requisição (Web Bot Auth, rascunho IETF). saída: 0
El taller de ejemplo permite la búsqueda y la acción del usuario, y bloquea el entrenamiento. Googlebot y Bingbot no tienen grupo propio: valen las reglas del *, que bloquea solo /admin/ (por eso "parcial").
grupos no arquivo: *, bingbot, claude-searchbot, claudebot, googlebot, oai-searchbot, perplexitybot busca OAI-SearchBot liberado · Claude-SearchBot liberado · PerplexityBot liberado · Googlebot liberado · Bingbot liberado ação do usuário ChatGPT-User liberado (*) · Claude-User liberado (*) · Perplexity-User liberado (*) treino GPTBot liberado (*) · ClaudeBot liberado · Google-Extended liberado (*) lembrete: robots.txt pede, não identifica. Quem prova quem é: assinatura na requisição (Web Bot Auth, rascunho IETF). saída: 0
inema.club permite todo, incluido el entrenamiento: es contenido abierto y eligió permitirlo. Los bots de acción del usuario no tienen grupo propio y caen en el *.
El ejemplo, tu robots.txt y la decisión anotada.
Ejecuta el bloque del robots.txt de ejemplo y abre kit/site/robots.txt para ver los comentarios de cada grupo.
Listo cuando: python3 robots.py site/robots.txt → línea treino con GPTBot bloqueado y saída: 0.
Ejecuta el modelo con la dirección de tu sitio. Copia las líneas de búsqueda, acción del usuario y entrenamiento al plan (sección "Quem pode entrar").
Listo cuando: la salida tiene las líneas busca, ação do usuário y treino y termina en saída: 0.
Abre el panel de tu CDN o hosting y revisa si hay bloqueo de bots de IA o una lista de agentes verificados. Anota si coincide con el robots.txt.
Listo cuando: el plan tiene una línea que dice qué CDN usas (o "sin CDN") y si el panel coincide con el robots.txt.
Pregunta 1 de 4
Una persona pega el enlace de tu sitio en el asistente y pide un resumen. ¿Qué tipo de bot lee la página?competencia
Pregunta 2 de 4
Tu log muestra User-Agent "GPTBot". ¿Eso prueba que fue OpenAI?competencia
Pregunta 3 de 4
¿Qué propone el borrador Web Bot Auth?
Pregunta 4 de 4
El robots.txt permite todo, pero un agente no logra leer el sitio. ¿Dónde mirar primero?
Elige una alternativa. La explicación aparece después de tu intento.