Zum Hauptinhalt springen
Tools Star Hub
SEO & Hilfsmittel Kategorie

Robots.txt-Generator

robots.txt-Text aus User-Agent-, Allow- und Disallow-Regeln erstellen, optional mit Sitemap-URL.

Was ist Robots.txt-Generator?

Ein robots.txt-Generator schreibt User-agent-, Allow- und Disallow-Zeilen aus den Regeln, die Sie eingeben. Er kann eine Sitemap-URL ergänzen. Er veröffentlicht nichts und testet keine Live-Website.

Tool wird geladen …

Dieses Tool läuft in Ihrem Browser. Eingaben, Dateien und erzeugte Werte bleiben auf diesem Gerät. Favoriten und zuletzt verwendete Tools speichern – falls Sie sie nutzen – nur Tool-Namen im lokalen Speicher, niemals Passwörter, Dokumente oder QR-Inhalte. Mehr dazu in der Datenschutzerklärung.

Was dieses Tool macht

Schreiben Sie robots.txt-Text aus einer oder mehreren User-agent-Gruppen und einer optionalen Sitemap-URL.

So funktioniert’s

  1. Geben Sie einen User-agent ein.
  2. Fügen Sie Allow- und Disallow-Pfade hinzu, einen pro Zeile.
  3. Ergänzen Sie bei Bedarf eine Sitemap-URL.
  4. Klicken Sie auf Erzeugen.

Beispiele

  • Ein privater Ordner

    User-agent * mit Disallow: /admin weist Crawler an, Pfade unter /admin nicht abzurufen. Die Datei ist reiner Text.

Wichtigste Funktionen

  • Mehrere User-agent-Gruppen.
  • Mehrere Allow- und Disallow-Zeilen.
  • Eine optionale absolute Sitemap-URL.

Wie es funktioniert

Jede Gruppe beginnt mit User-agent, gefolgt von einer Allow-Zeile pro Pfad und einer Disallow-Zeile pro Pfad. Leere Pfadzeilen werden übersprungen. Eine Sitemap wird nur ergänzt, wenn sie eine absolute http- oder https-URL ist. Die Seite lädt die Datei nicht hoch und testet keine Live-Website.

Tipps

  • Verwenden Sie * für alle Crawler.
  • Schreiben Sie jeden Pfad in eine eigene Zeile.

Einschränkungen

Das Ergebnis ist Text zum Kopieren. Es veröffentlicht keine Regeln und prüft nicht, was eine Live-Website erlaubt.

Was diese Tools nicht abdecken, steht im Haftungsausschluss.

Häufige Fragen

Wie schreibt man eine robots.txt-Datei?
Beginnen Sie mit einer User-agent-Zeile und fügen Sie dann Allow- und Disallow-Zeilen hinzu. Ergänzen Sie eine Sitemap-Zeile, wenn Sie eine absolute Sitemap-URL haben.
Kann ich mehr als einen User-agent verwenden?
Ja. Jede Gruppe hat ihren eigenen User-agent und eigene Regeln.
Was passiert mit einem leeren Pfad?
Eine leere Zeile wird übersprungen und erzeugt daher keine leere Allow- oder Disallow-Regel.
Testet das meine Live-Website?
Nein. Es erzeugt nur den Text. Es veröffentlicht die Datei nicht und ruft Ihre Website nicht auf.
Welche Sitemap-URL wird akzeptiert?
Eine absolute http- oder https-URL. Ein Pfad ohne Protokoll wird abgelehnt.
Werden diese Angaben an einen Server gesendet?
Nein. Die User-agent-Zeilen und Pfade werden in diesem Tab zusammengesetzt. Sie werden nicht hochgeladen, und die Seite ruft Ihre Website nicht auf.

Ähnliche Tools