Vai al contenuto principale
Tools Star Hub
SEO e utilità categoria

Generatore di robots.txt

Crea il testo di robots.txt con regole user-agent, allow e disallow, più un URL della sitemap facoltativo.

Che cos’è Generatore di robots.txt?

Un generatore di robots.txt scrive righe User-agent, Allow e Disallow dalle regole che inserisci. Può aggiungere l’URL di una sitemap. Non pubblica né testa un sito online.

Caricamento dello strumento…

Questo strumento funziona nel tuo browser. Dati inseriti, file e valori generati restano su questo dispositivo. Preferiti e strumenti recenti, se li usi, salvano solo i nomi degli strumenti nella memoria locale: mai password, documenti o contenuti dei codici QR. Consulta l’informativa sulla privacy.

Cosa fa questo strumento

Scrivi il testo di un robots.txt da uno o più gruppi user-agent e da un URL di sitemap facoltativo.

Come si usa

  1. Inserisci uno user-agent.
  2. Aggiungi i percorsi Allow e Disallow, uno per riga.
  3. Aggiungi l’URL di una sitemap se vuoi.
  4. Premi Genera.

Esempi

  • Una cartella privata

    User-agent * con Disallow: /admin dice ai crawler di non scaricare i percorsi sotto /admin. Il file è solo testo.

Funzioni principali

  • Più gruppi user-agent.
  • Più righe Allow e Disallow.
  • Un URL di sitemap assoluto facoltativo.

Come funziona

Ogni gruppo inizia con User-agent, poi una riga Allow per ogni percorso e una riga Disallow per ogni percorso. Le righe di percorso vuote vengono saltate. Una sitemap viene aggiunta solo se è un URL assoluto http o https. La pagina non carica il file e non testa un sito online.

Suggerimenti

  • Usa * per tutti i crawler.
  • Metti ogni percorso su una riga separata.

Limiti

Il risultato è testo da copiare. Non pubblica regole e non verifica cosa consente un sito online.

Consulta il disclaimer per sapere cosa non coprono questi strumenti.

Domande frequenti

Come si scrive un file robots.txt?
Inizia con una riga User-agent, poi aggiungi righe Allow e Disallow. Aggiungi una riga Sitemap quando hai un URL di sitemap assoluto.
Posso usare più di uno user-agent?
Sì. Ogni gruppo ha il proprio user-agent e le proprie regole.
Cosa succede a un percorso vuoto?
Una riga vuota viene saltata, quindi non crea una regola Allow o Disallow vuota.
Questo testa il mio sito online?
No. Genera solo il testo. Non pubblica il file e non contatta il tuo sito.
Quale URL di sitemap è accettato?
Un URL assoluto http o https. Un percorso senza protocollo viene rifiutato.
Questi dati vengono inviati a un server?
No. Le righe user-agent e i percorsi vengono composti in questa scheda. Non vengono caricati e la pagina non contatta il tuo sito.

Strumenti correlati