Toolora

Robots.txt 生成器

生成包含允許、禁止和站點地圖的 robots.txt 規則。

Robots.txt 生成器根據允許和禁止路徑列表以及可選的站點地圖 URL 生成 robots.txt 內容。

使用方法

  1. 每行輸入一個允許或禁止路徑。
  2. 如有站點地圖則填寫 URL。
  3. 複製生成的 robots.txt 內容。

常見問題

默認包含什麼?

包含 User-agent: * 規則以及你填寫的 Allow 和 Disallow 行。

可以允許整個站點嗎?

可以,在允許路徑中填寫 / 即可。