Saltar al contenido principal
Tools Star Hub
SEO y utilidades categoría

Generador de robots.txt

Crea el texto de robots.txt con reglas user-agent, allow y disallow, y una URL de sitemap opcional.

¿Qué es Generador de robots.txt?

Un generador de robots.txt escribe líneas User-agent, Allow y Disallow a partir de las reglas que escribes. Puede añadir la URL de un sitemap. No publica ni prueba un sitio en línea.

Cargando herramienta…

Esta herramienta funciona en tu navegador. Los datos, archivos y valores generados se quedan en este dispositivo. Los favoritos y las herramientas recientes, si los usas, solo guardan nombres de herramientas en el almacenamiento local, nunca contraseñas, documentos ni contenido de códigos QR. Consulta la política de privacidad.

Qué hace esta herramienta

Escribe el texto de un robots.txt a partir de uno o varios grupos de user-agent y una URL de sitemap opcional.

Cómo usarla

  1. Escribe un user-agent.
  2. Añade rutas Allow y Disallow, una por línea.
  3. Añade la URL de un sitemap si quieres.
  4. Pulsa Generar.

Ejemplos

  • Una carpeta privada

    User-agent * con Disallow: /admin indica a los rastreadores que no accedan a rutas bajo /admin. El archivo es solo texto.

Funciones principales

  • Varios grupos de user-agent.
  • Varias líneas Allow y Disallow.
  • Una URL de sitemap absoluta opcional.

Cómo funciona

Cada grupo empieza con User-agent, seguido de una línea Allow por ruta y una línea Disallow por ruta. Las líneas de ruta vacías se omiten. Un sitemap solo se añade si es una URL absoluta http o https. La página no sube el archivo ni prueba un sitio en línea.

Consejos

  • Usa * para todos los rastreadores.
  • Pon cada ruta en su propia línea.

Limitaciones

El resultado es texto para copiar. No publica reglas ni comprueba lo que permite un sitio en línea.

Consulta el aviso legal para saber qué no cubren estas herramientas.

Preguntas frecuentes

¿Cómo se escribe un archivo robots.txt?
Empieza con una línea User-agent y añade líneas Allow y Disallow. Añade una línea Sitemap cuando tengas una URL de sitemap absoluta.
¿Puedo usar más de un user-agent?
Sí. Cada grupo tiene su propio user-agent y sus propias reglas.
¿Qué pasa con una ruta vacía?
Una línea vacía se omite, así que no crea una regla Allow o Disallow vacía.
¿Esto prueba mi sitio en línea?
No. Solo genera el texto. No publica el archivo ni consulta tu sitio.
¿Qué URL de sitemap se acepta?
Una URL absoluta http o https. Una ruta sin protocolo se rechaza.
¿Se envían estos datos a un servidor?
No. Las líneas de user-agent y las rutas se arman en esta pestaña. No se suben y la página no consulta tu sitio.

Herramientas relacionadas