Aller au contenu principal
Tools Star Hub
SEO et utilitaires catégorie

Générateur de robots.txt

Créez un fichier robots.txt à partir de règles user-agent, allow et disallow, avec une URL de sitemap en option.

Qu’est-ce que Générateur de robots.txt ?

Un générateur de robots.txt écrit des lignes User-agent, Allow et Disallow à partir des règles que vous saisissez. Il peut ajouter l’URL d’un sitemap. Il ne publie rien et ne teste pas un site en ligne.

Chargement de l’outil…

Cet outil fonctionne dans votre navigateur. Les saisies, fichiers et valeurs générées restent sur cet appareil. Les favoris et outils récents, si vous les utilisez, n’enregistrent que des noms d’outils dans le stockage local — jamais de mots de passe, de documents ni de contenus QR. Consultez la politique de confidentialité.

Ce que fait cet outil

Écrivez le texte d’un robots.txt à partir d’un ou plusieurs groupes user-agent et d’une URL de sitemap facultative.

Mode d’emploi

  1. Saisissez un user-agent.
  2. Ajoutez les chemins Allow et Disallow, un par ligne.
  3. Ajoutez l’URL d’un sitemap si vous le souhaitez.
  4. Appuyez sur Générer.

Exemples

  • Un dossier privé

    User-agent * avec Disallow: /admin demande aux robots de ne pas explorer les chemins sous /admin. Le fichier est du texte seulement.

Fonctionnalités principales

  • Plusieurs groupes user-agent.
  • Plusieurs lignes Allow et Disallow.
  • Une URL de sitemap absolue facultative.

Comment ça marche

Chaque groupe commence par User-agent, puis une ligne Allow par chemin et une ligne Disallow par chemin. Les lignes de chemin vides sont ignorées. Un sitemap n’est ajouté que s’il s’agit d’une URL absolue http ou https. La page n’envoie pas le fichier et ne teste pas de site en ligne.

Conseils

  • Utilisez * pour tous les robots.
  • Mettez chaque chemin sur sa propre ligne.

Limites

Le résultat est un texte à copier. Il ne publie aucune règle et ne vérifie pas ce qu’un site en ligne autorise.

Consultez l’avertissement pour savoir ce que ces outils ne couvrent pas.

FAQ

Comment écrire un fichier robots.txt ?
Commencez par une ligne User-agent, puis ajoutez des lignes Allow et Disallow. Ajoutez une ligne Sitemap si vous avez une URL de sitemap absolue.
Puis-je utiliser plusieurs user-agents ?
Oui. Chaque groupe a son propre user-agent et ses propres règles.
Que devient un chemin vide ?
Une ligne vide est ignorée, elle ne crée donc pas de règle Allow ou Disallow vide.
Cela teste-t-il mon site en ligne ?
Non. L’outil génère seulement le texte. Il ne publie pas le fichier et n’interroge pas votre site.
Quelle URL de sitemap est acceptée ?
Une URL absolue http ou https. Un chemin sans protocole est refusé.
Ces données sont-elles envoyées à un serveur ?
Non. Les lignes user-agent et les chemins sont assemblés dans cet onglet. Ils ne sont pas envoyés, et la page n’interroge pas votre site.

Outils associés