Robots.txt-Generator

Erstellt robots.txt-Regeln mit Allow-, Disallow- und Sitemap-Einträgen.

Der Robots.txt-Generator erstellt eine robots.txt-Datei aus Allow- und Disallow-Pfadlisten plus optionaler Sitemap-URL, bereit zur Bereitstellung mit deiner Website.

Erlaubte Pfade

Verbotene Pfade

Sitemap

Ausgabe

Bitte gib eine Eingabe ein.

So wird's genutzt

Gib erlaubte und verbotene Pfade ein, einen pro Zeile.
Füge eine Sitemap-URL hinzu, falls du eine hast.
Kopiere den generierten robots.txt-Inhalt.

Häufig gestellte Fragen

Was ist standardmäßig enthalten?

Eine User-agent: *-Regel, gefolgt von den von dir angegebenen Allow- und Disallow-Zeilen.

Kann ich die ganze Website erlauben?

Gib / im Allow-Feld ein.

IP-Adressen-Suche

Schlage Standort und Netzwerkdetails einer IP-Adresse nach.

Meine IP-Adresse

Sieh deine aktuelle öffentliche IP-Adresse, deinen Standort und Netzwerkdetails.

User-Agent-Parser

Extrahiert Browser, Betriebssystem und Gerät aus einer User-Agent-Zeichenfolge.

HTTP-Header-Checker

Untersucht Antwortheader jeder Webseite.

DNS-Suche

Löst DNS-Einträge einer Domäne auf.

URL-Parser

Zerlegt eine URL in Protokoll, Host, Pfad, Abfrage, Fragment und dekodierte Parameter.