Gerador de robots.txt
Crie regras robots.txt com entradas allow, disallow e sitemap.
O Gerador de robots.txt monta um arquivo robots.txt a partir de listas de caminhos allow e disallow mais uma URL de sitemap opcional, pronto para implantar com seu site.
Digite alguma entrada.
Como usar
- Digite caminhos permitidos e bloqueados, um por linha.
- Adicione uma URL de sitemap se tiver uma.
- Copie o conteúdo robots.txt gerado.
Perguntas frequentes
O que está incluído por padrão?
Uma regra User-agent: * seguida das linhas Allow e Disallow que você fornecer.
Posso permitir todo o site?
Digite / no campo Allow.
Ferramentas relacionadas
Consulta de endereço IP
Consulte localização e detalhes de rede de um endereço IP.
Meu endereço IP
Veja seu endereço IP público atual, localização e detalhes de rede.
Analisador de User Agent
Extraia navegador, sistema operacional e dispositivo de uma string de user agent.
Verificador de cabeçalhos HTTP
Inspecione os cabeçalhos de resposta de qualquer página web.
Consulta DNS
Resolva registros DNS de um domínio.
Analisador de URL
Divida uma URL em protocolo, host, caminho, consulta, fragmento e parâmetros decodificados.