Naar de hoofdinhoud
Tools Star Hub
SEO & hulpmiddelen categorie

Robots.txt-generator

Maak robots.txt-tekst met user-agent-, allow- en disallow-regels, plus een optionele sitemap-URL.

Wat is Robots.txt-generator?

Een robots.txt-generator schrijft User-agent-, Allow- en Disallow-regels op basis van de regels die u invoert. Hij kan een sitemap-URL toevoegen. Hij publiceert niets en test geen live site.

Tool laden…

Deze tool werkt in je browser. Invoer, bestanden en gegenereerde waarden blijven op dit apparaat. Favorieten en recent gebruikte tools bewaren, als je ze gebruikt, alleen toolnamen in de lokale opslag — nooit wachtwoorden, documenten of QR-inhoud. Lees het privacybeleid.

Wat deze tool doet

Schrijf robots.txt-tekst op basis van een of meer user-agent-groepen en een optionele sitemap-URL.

Zo gebruik je het

  1. Voer een user-agent in.
  2. Voeg Allow- en Disallow-paden toe, één per regel.
  3. Voeg een sitemap-URL toe als u die wilt.
  4. Klik op Genereren.

Voorbeelden

  • Een privémap

    User-agent * met Disallow: /admin vertelt crawlers paden onder /admin niet op te halen. Het bestand is alleen tekst.

Belangrijkste functies

  • Meerdere user-agent-groepen.
  • Meerdere Allow- en Disallow-regels.
  • Een optionele absolute sitemap-URL.

Hoe het werkt

Elke groep begint met User-agent, gevolgd door één Allow-regel per pad en één Disallow-regel per pad. Lege padregels worden overgeslagen. Een sitemap wordt alleen toegevoegd als het een absolute http- of https-URL is. De pagina uploadt het bestand niet en test geen live site.

Tips

  • Gebruik * voor alle crawlers.
  • Zet elk pad op een eigen regel.

Beperkingen

Het resultaat is tekst om te kopiëren. Het publiceert geen regels en controleert niet wat een live site toestaat.

Zie de disclaimer voor wat deze tools niet dekken.

Veelgestelde vragen

Hoe schrijf je een robots.txt-bestand?
Begin met een User-agent-regel en voeg daarna Allow- en Disallow-regels toe. Voeg een Sitemap-regel toe als u een absolute sitemap-URL hebt.
Kan ik meer dan één user-agent gebruiken?
Ja. Elke groep heeft een eigen user-agent en eigen regels.
Wat gebeurt er met een leeg pad?
Een lege regel wordt overgeslagen en maakt dus geen lege Allow- of Disallow-regel.
Test dit mijn live site?
Nee. Het maakt alleen de tekst. Het publiceert het bestand niet en vraagt uw site niet op.
Welke sitemap-URL wordt geaccepteerd?
Een absolute http- of https-URL. Een pad zonder protocol wordt geweigerd.
Worden deze gegevens naar een server gestuurd?
Nee. De user-agent-regels en paden worden in dit tabblad samengesteld. Ze worden niet geüpload, en de pagina vraagt uw site niet op.

Gerelateerde tools