مولّد ملف Robots.txt

ما الذي تفعله هذه الأداة

اكتب نص robots.txt من مجموعة user-agent واحدة أو أكثر، مع رابط اختياري لخريطة الموقع.

طريقة الاستخدام

1. أدخل user-agent.
2. أضف مسارات السماح والمنع، كل مسار في سطر.
3. أضف رابط خريطة الموقع إن أردت.
4. اضغط إنشاء.

أمثلة

• مجلد خاص

  ‏User-agent * مع Disallow: /admin يخبر برامج الزحف بعدم جلب المسارات تحت ‎/admin. الملف نص فقط.

الميزات الرئيسية

• عدة مجموعات user-agent.
• عدة أسطر Allow وDisallow.
• رابط مطلق اختياري لخريطة الموقع.

كيف تعمل

تبدأ كل مجموعة بسطر User-agent، ثم سطر Allow لكل مسار وسطر Disallow لكل مسار. تُتخطّى أسطر المسارات الفارغة. لا تُضاف خريطة الموقع إلا إذا كانت رابط http أو https مطلقًا. لا ترفع الصفحة الملف ولا تختبر موقعًا حيًا.

نصائح

• استخدم * لكل برامج الزحف.
• ضع كل مسار في سطر مستقل.

القيود

النتيجة نص يمكنك نسخه. لا تنشر القواعد ولا تتحقق مما يسمح به موقع حي.

راجع إخلاء المسؤولية لمعرفة ما لا تغطيه هذه الأدوات.

الأسئلة الشائعة

كيف تكتب ملف robots.txt؟

ابدأ بسطر User-agent، ثم أضف أسطر Allow وDisallow. وأضف سطر Sitemap إذا كان لديك رابط مطلق لخريطة الموقع.

هل يمكنني استخدام أكثر من user-agent؟

نعم. لكل مجموعة user-agent وقواعد خاصة بها.

ماذا يحدث للمسار الفارغ؟

يُتخطّى السطر الفارغ، فلا تنشأ قاعدة Allow أو Disallow فارغة.

هل يختبر هذا موقعي الحي؟

لا. هو ينشئ النص فقط. لا ينشر الملف ولا يرسل طلبًا إلى موقعك.

ما رابط خريطة الموقع المقبول؟

رابط http أو https مطلق. يُرفض المسار الذي لا يحتوي على بروتوكول.

هل تُرسَل هذه البيانات إلى خادم؟

لا. تُجمَع أسطر user-agent والمسارات في هذه العلامة. لا تُرفع، ولا ترسل الصفحة طلبًا إلى موقعك.

أدوات ذات صلة