本文へスキップ
RB

robots.txt生成

User-agent・Allow/Disallow・Sitemap・任意の Crawl-delay 付き robots.txt を生成。

サイト根の robots.txt を生成します。クローラーの解釈はエンジンごとに異なります。

User-agent グループ 1

1行に1つ
任意

Sitemap

任意・非標準
# robots.txt generated by toco.tools
# https://example.com

User-agent: *
Disallow: /admin/
Disallow: /api/
Allow: /

Sitemap: https://example.com/sitemap.xml

生成した内容をサイトのルート（https://example.com/robots.txt）に配置してください。Crawl-delay は Google では無視されます。本番反映前に Search Console 等で確認することを推奨します。

robots.txt生成について

robots.txt はサイトルートに置き、検索エンジンなどのクローラーにどのパスを辿ってよいかを伝えます。手書きだと User-agent の抜けや Sitemap URL の誤りが起きやすいです。 toco.toolsの robots.txt 生成ツールは、複数の User-agent グループ、Allow / Disallow ルール、任意の Crawl-delay、複数 Sitemap、任意の Host をフォームから組み立てます。すべて許可／すべて拒否／WordPress風などのプリセット、軽い構文チェック、コピーとダウンロードに対応しています。 Crawl-delay は Googlebot では無視されます。生成結果はあくまでファイルの下書きであり、クローラーの解釈保証ではありません。処理はブラウザ内で完結し、入力は toco.tools サーバーへ送信されません。

使い方

  1. プリセットを選ぶか、User-agent と Allow/Disallow を入力する
  2. 必要なら Crawl-delay・Sitemap・Host を追加する
  3. 生成された robots.txt をコピーまたはダウンロードしてサイトルートに配置する

よくある質問（FAQ）

Crawl-delay は Google で効きますか？

いいえ。Googlebot は Crawl-delay を無視します。Bing など一部のクローラーでは尊重される場合があります。レート制御は Search Console 側の設定も検討してください。

Disallow を空にするとどうなりますか？

`Disallow:`（値なし）は制限なし＝実質すべて許可の定番書き方です。「すべて許可」プリセットがこの形です。すべて拒否したい場合は `Disallow: /` を使います。

入力した内容は外部に送信されますか？

いいえ。生成はすべてブラウザ内で完結し、toco.tools のサーバーへ送信されません。