Generador de robots.txt
Crea reglas robots.txt con entradas allow, disallow y sitemap.
El Generador de robots.txt ensambla un archivo robots.txt a partir de listas de rutas allow y disallow más una URL de sitemap opcional, listo para desplegar con tu sitio.
Introduce algún dato.
Cómo usar
- Introduce rutas permitidas y no permitidas, una por línea.
- Añade una URL de sitemap si tienes una.
- Copia el contenido robots.txt generado.
Preguntas frecuentes
¿Qué se incluye por defecto?
Una regla User-agent: * seguida de las líneas Allow y Disallow que proporciones.
¿Puedo permitir todo el sitio?
Introduce / en el campo Allow.
Herramientas relacionadas
Consulta de dirección IP
Consulta la ubicación y los datos de red de una dirección IP.
Mi dirección IP
Consulta tu dirección IP pública actual, ubicación y datos de red.
Analizador de User Agent
Extrae navegador, sistema operativo y dispositivo de una cadena user agent.
Comprobador de cabeceras HTTP
Inspecciona las cabeceras de respuesta de cualquier página web.
Consulta DNS
Resuelve registros DNS de un dominio.
Analizador de URL
Descompone una URL en protocolo, host, ruta, consulta, fragmento y parámetros decodificados.