Robots.txt 生成器
生成包含允许、禁止和站点地图的 robots.txt 规则。
Robots.txt 生成器根据允许和禁止路径列表以及可选的站点地图 URL 生成 robots.txt 内容。
请输入内容。
使用方法
- 每行输入一个允许或禁止路径。
- 如有站点地图则填写 URL。
- 复制生成的 robots.txt 内容。
常见问题
默认包含什么？
包含 User-agent: * 规则以及你填写的 Allow 和 Disallow 行。
可以允许整个站点吗？
可以，在允许路径中填写 / 即可。