Pular para o conteúdo principal
Tools Star Hub
SEO e utilitários categoria

Gerador de robots.txt

Monte o texto do robots.txt com regras de user-agent, allow e disallow, além de uma URL de sitemap opcional.

O que é Gerador de robots.txt?

Um gerador de robots.txt escreve linhas User-agent, Allow e Disallow a partir das regras que você digita. Ele pode incluir a URL de um sitemap. Não publica nem testa um site no ar.

Carregando ferramenta…

Esta ferramenta roda no seu navegador. Dados, arquivos e valores gerados ficam neste dispositivo. Favoritos e ferramentas recentes, se você usar, guardam apenas nomes de ferramentas no armazenamento local — nunca senhas, documentos ou conteúdo de QR codes. Veja a política de privacidade.

O que esta ferramenta faz

Escreva o texto de um robots.txt a partir de um ou mais grupos de user-agent e de uma URL de sitemap opcional.

Como usar

  1. Digite um user-agent.
  2. Adicione caminhos Allow e Disallow, um por linha.
  3. Adicione a URL de um sitemap se quiser.
  4. Clique em Gerar.

Exemplos

  • Uma pasta privada

    User-agent * com Disallow: /admin diz aos rastreadores para não acessar caminhos dentro de /admin. O arquivo é só texto.

Principais recursos

  • Vários grupos de user-agent.
  • Várias linhas Allow e Disallow.
  • Uma URL de sitemap absoluta opcional.

Como funciona

Cada grupo começa com User-agent, seguido de uma linha Allow para cada caminho e uma linha Disallow para cada caminho. Linhas de caminho em branco são ignoradas. Um sitemap só é adicionado se for uma URL absoluta http ou https. A página não envia o arquivo nem testa um site no ar.

Dicas

  • Use * para todos os rastreadores.
  • Coloque cada caminho em uma linha própria.

Limitações

O resultado é um texto para copiar. Ele não publica regras nem verifica o que um site no ar permite.

Veja o aviso legal para saber o que estas ferramentas não cobrem.

Perguntas frequentes

Como se escreve um arquivo robots.txt?
Comece com uma linha User-agent e depois adicione linhas Allow e Disallow. Adicione uma linha Sitemap quando tiver uma URL de sitemap absoluta.
Posso usar mais de um user-agent?
Sim. Cada grupo tem seu próprio user-agent e suas próprias regras.
O que acontece com um caminho em branco?
Uma linha em branco é ignorada, então não cria uma regra Allow ou Disallow vazia.
Isso testa meu site no ar?
Não. Só gera o texto. Não publica o arquivo nem acessa o seu site.
Qual URL de sitemap é aceita?
Uma URL absoluta http ou https. Um caminho sem protocolo é recusado.
Esses dados são enviados a um servidor?
Não. As linhas de user-agent e os caminhos são montados nesta aba. Eles não são enviados, e a página não acessa o seu site.

Ferramentas relacionadas