inemaSEO 1 — Fundación: la radiografía y el cimiento de tu sitio|INEMA.CLUB-PRO

Clase 6 · 18 min

robots.txt por finalidad: búsqueda, acción del usuario y entrenamiento

"Bloquear las IA" se volvió un pedido común, y casi siempre está mal formulado. Cada empresa de IA tiene robots distintos para buscar, para abrir la página a pedido de alguien y para entrenar modelos. Bloquear uno no bloquea a los otros. Y en 2026 tu CDN puede estar decidiendo por ti.

Empezar la clase
Un portero de un edificio comercial revisa las credenciales de los visitantes en la recepción.

En esta clase vas a

  1. 1Los tres tipos de robot de IA y el efecto de bloquear cada uno
  2. 2Escribir el robots.txt en tres grupos
  3. 3Revisar el bloqueo predeterminado de la CDN
  4. 4Tratar el llms.txt como opcional y barato

Objetivo: decidir en el robots.txt y en el panel de la CDN qué liberar para búsqueda, para acción del usuario y para entrenamiento.

01Quién toca la puerta y qué pasa si la cierras

Haz clic en cada bloque.

Haz clic en cada bloque del diagrama para ver qué hace.

Decide por finalidad, escríbelo en el robots.txt y revisa que la CDN esté de acuerdo.

02Decidir en cuatro preguntas

Haz clic en cada una.

1. ¿Quiero que me citen?

Para casi cualquier negocio, sí: libera los robots de búsqueda. Por ellos tu sitio entra en las respuestas.

Bloquear la búsqueda para "proteger el contenido" suele ser el peor de los mundos: el texto ya fue leído y tú desapareces de las respuestas.

03El robots.txt en tres grupos y el llms.txt opcional

Adapta la decisión de entrenamiento a la tuya. Cambia la dirección del sitemap.

robots.txt · por finalidad
# robots.txt por finalidad (adaptado del templates/robots.txt de inemaSEO)
User-agent: *
Allow: /

# Búsqueda: aparecer y ser citado en las respuestas
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Googlebot
User-agent: Bingbot
Allow: /

# Acción del usuario: la IA abre la página a pedido de alguien
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Allow: /

# Entrenamiento: decisión tuya. Este ejemplo bloquea; bloquear el entrenamiento no te saca de la búsqueda
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

Sitemap: https://www.seusite.com/sitemap.xml
llms.txt · opcional (templates/llms.txt, resumido)
# Tu Sitio

> Una frase que diga qué es, para quién y qué entrega.

## Páginas principales

- [Inicio](https://www.seusite.com/)
- [Acerca de / quién lo hace](https://www.seusite.com/sobre/)
- [Catálogo](https://www.seusite.com/catalogo/)

## Datos para máquinas

- [Sitemap](https://www.seusite.com/sitemap.xml)
Anotación de la decisión
Decisión de robots de <seusite.com> el <dd/mm/aaaa>
- Búsqueda: permitido (motivo: <...>)
- Acción del usuario: <permitido/bloqueado> (motivo: <...>)
- Entrenamiento: <permitido/bloqueado> (motivo: <...>)
- CDN: <nombre>, bloqueo predeterminado de IA <activado/desactivado>, verificado en el panel
- llms.txt: <sí/no> (opcional)
Ejemplo del repositorio

El templates/robots.txt del método pone a ClaudeBot junto con los robots de búsqueda. Según la documentación de Anthropic, ClaudeBot recopila para entrenamiento; la búsqueda es de Claude-SearchBot y la lectura a pedido es de Claude-User. El modelo de arriba separa los tres y agrega los robots de acción del usuario.

04Conversación simulada: el dueño de la posada quiere bloquear las IA

Conversación ficticia para practicar. Elige la respuesta que darías; el comentario aparece enseguida.

Dueño de posadasitio pequeño · reservas que llegan de la búsqueda

Elige tu respuesta. El comentario aparece justo después y la conversación sigue según tu elección.

    05Práctica: la decisión en tu sitio

    Usa el bloque robots.txt de tu raio-x.txt.

    E1 · robots.txt en tres grupos

    20 min

    Reescribe tu robots.txt con los grupos búsqueda, acción del usuario y entrenamiento, con un comentario que explique el motivo de la decisión de entrenamiento. Publica y ejecuta la radiografía de nuevo.

    Listo cuando: el bloque robots.txt de la radiografía muestra los tres grupos y el Sitemap al final.

    E2 · El panel de la CDN

    15 min

    Abre el panel de tu CDN o hosting y revisa si hay un bloqueo de robots de IA activado. Completa la nota de la decisión.

    Listo cuando: la nota dice cuál CDN, si el bloqueo por defecto está activado y si concuerda con el robots.txt (o "sin CDN").

    06Pon a prueba lo que aprendiste

    La explicación aparece después de tu respuesta.

    Pregunta 1 de 4

    Bloqueaste GPTBot, ClaudeBot y Google-Extended. ¿Qué pasa con la búsqueda?competencia

    07Para llevarte

    Tres finalidadesBúsqueda, acción del usuario y entrenamiento: bloquear uno no bloquea los otros.
    Pedido × imposiciónrobots.txt pide; la CDN impone. Revisa el panel.
    La vara de 2026llms.txt es opcional y barato, no una palanca de citación.

    Para ir más allá

    OpenAI: robots y qué hace cada uno (inglés)Anthropic: robots de Claude y cómo bloquearlos (inglés)Perplexity: robots (inglés)Google: robots comunes y Google-Extended (inglés)Ahrefs: estudio de llms.txt (inglés)
    Clase anteriorSiguiente clase