Langsung ke konten utama
Tools Star Hub
SEO & Utilitas kategori

Generator Robots.txt

Buat teks robots.txt dengan aturan user-agent, allow, dan disallow, plus URL sitemap opsional.

Apa itu Generator Robots.txt?

Pembuat robots.txt menulis baris User-agent, Allow, dan Disallow dari aturan yang Anda ketik. Alat ini bisa menambahkan URL sitemap. Alat ini tidak memublikasikan atau menguji situs yang aktif.

Memuat alat…

Alat ini berjalan di browser Anda. Input, file, dan nilai yang dihasilkan tetap di perangkat ini. Favorit dan alat yang baru dipakai, jika Anda menggunakannya, hanya menyimpan nama alat di penyimpanan lokal — tidak pernah kata sandi, dokumen, atau isi kode QR. Lihat kebijakan privasi.

Fungsi alat ini

Tulis teks robots.txt dari satu atau beberapa grup user-agent dan URL sitemap opsional.

Cara menggunakan

  1. Masukkan user-agent.
  2. Tambahkan jalur Allow dan Disallow, satu per baris.
  3. Tambahkan URL sitemap jika Anda mau.
  4. Tekan Buat.

Contoh

  • Folder pribadi

    User-agent * dengan Disallow: /admin memberi tahu crawler untuk tidak mengambil jalur di bawah /admin. File ini hanya berupa teks.

Fitur utama

  • Beberapa grup user-agent.
  • Beberapa baris Allow dan Disallow.
  • URL sitemap absolut opsional.

Cara kerjanya

Setiap grup diawali User-agent, lalu satu baris Allow untuk setiap jalur dan satu baris Disallow untuk setiap jalur. Baris jalur kosong dilewati. Sitemap hanya ditambahkan jika berupa URL absolut http atau https. Halaman ini tidak mengunggah file atau menguji situs yang aktif.

Tips

  • Gunakan * untuk semua crawler.
  • Tulis setiap jalur di barisnya sendiri.

Batasan

Hasilnya berupa teks yang bisa disalin. Alat ini tidak memublikasikan aturan atau memeriksa apa yang diizinkan situs yang aktif.

Lihat penafian untuk hal-hal yang tidak dicakup alat ini.

Tanya jawab

Bagaimana cara menulis file robots.txt?
Mulai dengan baris User-agent, lalu tambahkan baris Allow dan Disallow. Tambahkan baris Sitemap jika Anda punya URL sitemap absolut.
Bisakah saya memakai lebih dari satu user-agent?
Bisa. Setiap grup punya user-agent dan aturannya sendiri.
Apa yang terjadi pada jalur kosong?
Baris kosong dilewati, jadi tidak membuat aturan Allow atau Disallow yang kosong.
Apakah ini menguji situs saya yang aktif?
Tidak. Alat ini hanya membuat teks. Alat ini tidak memublikasikan file atau mengakses situs Anda.
URL sitemap seperti apa yang diterima?
URL absolut http atau https. Jalur tanpa protokol akan ditolak.
Apakah data ini dikirim ke server?
Tidak. Baris user-agent dan jalur disusun di tab ini. Semuanya tidak diunggah, dan halaman ini tidak mengakses situs Anda.

Alat terkait