Robots.txt جنریٹر

یہ ٹول کیا کرتا ہے

ایک یا زیادہ user-agent گروپس اور اختیاری سائٹ میپ URL سے robots.txt ٹیکسٹ لکھیں۔

استعمال کا طریقہ

1. user-agent درج کریں۔
2. allow اور disallow پاتھ شامل کریں، ہر سطر میں ایک۔
3. چاہیں تو سائٹ میپ URL شامل کریں۔
4. بنائیں دبائیں۔

مثالیں

• ایک نجی فولڈر

  User-agent * کے ساتھ Disallow: /admin کرالرز کو بتاتا ہے کہ /admin کے اندر کے پاتھ نہ لائیں۔ فائل صرف ٹیکسٹ ہے۔

اہم خصوصیات

• کئی user-agent گروپس۔
• کئی allow اور disallow سطریں۔
• ایک اختیاری مکمل سائٹ میپ URL۔

یہ کیسے کام کرتا ہے

ہر گروپ User-agent سے شروع ہوتا ہے، پھر ہر پاتھ کے لیے ایک Allow سطر اور ہر پاتھ کے لیے ایک Disallow سطر۔ خالی پاتھ والی سطریں چھوڑ دی جاتی ہیں۔ سائٹ میپ تبھی شامل ہوتا ہے جب وہ مکمل http یا https URL ہو۔ صفحہ فائل اپ لوڈ نہیں کرتا اور کسی لائیو سائٹ کی جانچ نہیں کرتا۔

مشورے

• تمام کرالرز کے لیے * استعمال کریں۔
• ہر پاتھ اپنی الگ سطر میں رکھیں۔

حدود

نتیجہ ایسا ٹیکسٹ ہے جسے آپ کاپی کر سکتے ہیں۔ یہ قواعد شائع نہیں کرتا اور یہ نہیں جانچتا کہ لائیو سائٹ کس چیز کی اجازت دیتی ہے۔

یہ ٹولز کن چیزوں کا احاطہ نہیں کرتے، اس کے لیے دستبرداری دیکھیں۔

عام سوالات

robots.txt فائل کیسے لکھیں؟

User-agent سطر سے شروع کریں، پھر Allow اور Disallow سطریں شامل کریں۔ مکمل سائٹ میپ URL ہو تو Sitemap سطر شامل کریں۔

کیا میں ایک سے زیادہ user-agent استعمال کر سکتا ہوں؟

جی ہاں۔ ہر گروپ کا اپنا user-agent اور قواعد ہوتے ہیں۔

خالی پاتھ کا کیا ہوتا ہے؟

خالی سطر چھوڑ دی جاتی ہے، اس لیے کوئی خالی Allow یا Disallow قاعدہ نہیں بنتا۔

کیا یہ میری لائیو سائٹ کی جانچ کرتا ہے؟

نہیں۔ یہ صرف ٹیکسٹ بناتا ہے۔ یہ فائل شائع نہیں کرتا اور آپ کی سائٹ کو درخواست نہیں بھیجتا۔

کون سا سائٹ میپ URL قبول ہوتا ہے؟

مکمل http یا https URL۔ بغیر پروٹوکول کا پاتھ مسترد کر دیا جاتا ہے۔

کیا یہ معلومات سرور پر بھیجی جاتی ہیں؟

نہیں۔ user-agent سطریں اور پاتھ اسی ٹیب میں جوڑے جاتے ہیں۔ وہ اپ لوڈ نہیں ہوتے، اور صفحہ آپ کی سائٹ کو درخواست نہیں بھیجتا۔

متعلقہ ٹولز