Robots.txt जनरेटर

यह टूल क्या करता है

एक या अधिक user-agent समूहों और वैकल्पिक साइटमैप URL से robots.txt टेक्स्ट लिखें।

कैसे इस्तेमाल करें

1. user-agent दर्ज करें।
2. allow और disallow पाथ जोड़ें, हर पंक्ति में एक।
3. चाहें तो साइटमैप URL जोड़ें।
4. बनाएँ दबाएँ।

उदाहरण

• एक निजी फ़ोल्डर

  User-agent * के साथ Disallow: /admin क्रॉलर को /admin के अंदर के पाथ न लाने को कहता है। फ़ाइल सिर्फ़ टेक्स्ट है।

मुख्य सुविधाएँ

• कई user-agent समूह।
• कई allow और disallow पंक्तियाँ।
• एक वैकल्पिक पूर्ण साइटमैप URL।

यह कैसे काम करता है

हर समूह User-agent से शुरू होता है, फिर हर पाथ के लिए एक Allow पंक्ति और हर पाथ के लिए एक Disallow पंक्ति। खाली पाथ वाली पंक्तियाँ छोड़ दी जाती हैं। साइटमैप तभी जोड़ा जाता है जब वह पूर्ण http या https URL हो। पेज फ़ाइल अपलोड नहीं करता और किसी लाइव साइट की जाँच नहीं करता।

सुझाव

• हर क्रॉलर के लिए * इस्तेमाल करें।
• हर पाथ अपनी अलग पंक्ति में रखें।

सीमाएँ

नतीजा ऐसा टेक्स्ट है जिसे आप कॉपी कर सकते हैं। यह नियम प्रकाशित नहीं करता और यह नहीं जाँचता कि लाइव साइट क्या अनुमति देती है।

ये टूल किन चीज़ों को कवर नहीं करते, यह जानने के लिए अस्वीकरण देखें।

अक्सर पूछे जाने वाले सवाल

robots.txt फ़ाइल कैसे लिखें?

User-agent पंक्ति से शुरू करें, फिर Allow और Disallow पंक्तियाँ जोड़ें। पूर्ण साइटमैप URL हो तो Sitemap पंक्ति जोड़ें।

क्या मैं एक से ज़्यादा user-agent इस्तेमाल कर सकता हूँ?

हाँ। हर समूह का अपना user-agent और नियम होते हैं।

खाली पाथ का क्या होता है?

खाली पंक्ति छोड़ दी जाती है, इसलिए कोई खाली Allow या Disallow नियम नहीं बनता।

क्या यह मेरी लाइव साइट की जाँच करता है?

नहीं। यह सिर्फ़ टेक्स्ट बनाता है। यह फ़ाइल प्रकाशित नहीं करता और आपकी साइट को अनुरोध नहीं भेजता।

कौन-सा साइटमैप URL स्वीकार होता है?

पूर्ण http या https URL। बिना प्रोटोकॉल वाला पाथ अस्वीकार कर दिया जाता है।

क्या यह जानकारी सर्वर पर भेजी जाती है?

नहीं। user-agent पंक्तियाँ और पाथ इसी टैब में जोड़े जाते हैं। वे अपलोड नहीं होते, और पेज आपकी साइट को अनुरोध नहीं भेजता।

संबंधित टूल