Générateur de robots.txt
Crée des règles robots.txt avec autorisations, interdictions et sitemap.
Le Générateur de robots.txt assemble un fichier robots.txt à partir de listes de chemins autorisés et interdits plus une URL de sitemap facultative, prêt à déployer avec votre site.
Veuillez saisir une entrée.
Comment utiliser
- Saisissez les chemins autorisés et interdits, un par ligne.
- Ajoutez une URL de sitemap si vous en avez une.
- Copiez le contenu robots.txt généré.
Questions fréquentes
Qu'est-ce qui est inclus par défaut ?
Une règle User-agent: * suivie des lignes Allow et Disallow que vous fournissez.
Puis-je autoriser tout le site ?
Saisissez / dans le champ Allow.
Outils associés
Recherche d'adresse IP
Consultez la localisation et les informations réseau d'une adresse IP.
Mon adresse IP
Consultez votre adresse IP publique actuelle, votre localisation et vos informations réseau.
Analyseur de user agent
Extrait le navigateur, le système et l'appareil d'une chaîne user agent.
Vérificateur d'en-têtes HTTP
Inspectez les en-têtes de réponse de n'importe quelle page web.
Recherche DNS
Résout les enregistrements DNS d'un domaine.
Analyseur d'URL
Décompose une URL en protocole, hôte, chemin, requête, fragment et paramètres décodés.