Toolora

robots.txt 生成器

Allow、Disallow、Sitemap を含む robots.txt を生成します。

robots.txt 生成器は、許可・禁止パスのリストと任意の Sitemap URL から robots.txt ファイルを組み立てます。

使い方

  1. 許可・禁止パスを1行ずつ入力します。
  2. Sitemap URL があれば追加します。
  3. 生成された robots.txt をコピーします。

よくある質問

デフォルトで何が含まれますか？

User-agent: * ルールと、入力した Allow・Disallow 行です。

サイト全体を許可できますか？

はい。Allow 欄に / を入力します。

関連ツール

IP アドレス検索

IP アドレスの位置情報やネットワーク情報を調べます。

User Agent 解析

ブラウザ、OS、デバイスをユーザーエージェントから解析します。

HTTP ヘッダーチェッカー

任意の Web ページのレスポンスヘッダーを確認します。

DNS ルックアップ

ドメインの DNS レコードを解決します。

URL パーサー

URL をプロトコル、ホスト、パス、クエリに分解します。

HTTP ステータスコード検索

HTTP ステータスコードを番号または説明から検索します。