robots.txt作成

このツールでできること

1つ以上のuser-agentグループと、任意のサイトマップURLからrobots.txtのテキストを作成します。

使い方

1. user-agentを入力します。
2. 許可するパスと禁止するパスを1行に1つずつ追加します。
3. 必要ならサイトマップのURLを追加します。
4. 生成を押します。

例

• 非公開フォルダー

  User-agent * と Disallow: /admin で、/admin 以下のパスを取得しないようクローラーに伝えます。ファイルはテキストのみです。

主な機能

• 複数のuser-agentグループ。
• 複数のAllow行とDisallow行。
• 任意の絶対サイトマップURL。

仕組み

各グループはUser-agentで始まり、パスごとにAllow行、パスごとにDisallow行が続きます。空のパス行はスキップされます。サイトマップはhttpまたはhttpsの絶対URLの場合にだけ追加されます。このページはファイルをアップロードせず、公開中のサイトもテストしません。

ヒント

• すべてのクローラーには * を使います。
• パスは1行に1つずつ書きます。

制限事項

結果はコピーできるテキストです。ルールを公開したり、公開中のサイトで何が許可されているかを確認したりはしません。

これらのツールの対象外については免責事項をご覧ください。

よくある質問

robots.txtファイルはどう書きますか？

User-agent行から始め、Allow行とDisallow行を追加します。サイトマップの絶対URLがあればSitemap行も加えます。

user-agentは複数使えますか？

はい。各グループに独自のuser-agentとルールがあります。

空のパスはどうなりますか？

空行はスキップされるため、空のAllowやDisallowのルールはできません。

公開中のサイトをテストしますか？

いいえ。テキストを生成するだけです。ファイルを公開することも、サイトにリクエストを送ることもありません。

どんなサイトマップURLが使えますか？

httpまたはhttpsの絶対URLです。プロトコルのないパスは拒否されます。

入力内容はサーバーに送信されますか？

いいえ。user-agentの行とパスはこのタブ内で組み立てられます。アップロードされず、このページがサイトにリクエストを送ることもありません。

関連ツール