انتقل إلى المحتوى

مولّد ملف robots.txt

اكتب ملف robots.txt: امنع مسارات، واختر ما تفعله زواحف الذكاء الاصطناعي، وسمِّ خريطة موقعك.

  • مولّد
  • قاعدتان
  • آخر تحديث

مولّد ملف robots.txt

مساراً في كل سطر، مثل /admin/ و/cart/. اتركه فارغاً إن لم تمنع شيئاً.

عنواناً كاملاً في كل سطر، مثل https://example.com/sitemap.xml.

مجاني وبلا تسجيل، ويعمل في متصفحك: لا يغادره شيء مما تكتبه.

ماذا تفحص

  • أن الملف لا يمنع Googlebot أبداً: الملف الذي تأخذه يدخله.
  • زواحف تدريب الذكاء الاصطناعي وزواحف بحثه اختياران منفصلان، بأسماء (product tokens) توثقها جهاتها: تُبعد نصك عن التدريب وتبقى مقروءاً حين يجيب مساعد عن سؤال.
  • يُكتب كل مسار من الجذر ويُفحص مما لا يحتمله robots.txt، وكل خريطة موقع عنوان كامل.
  • ملاحظة تقول ما لا يفعله الملف: robots.txt يطلب ولا يُجبر.

مثال

خطأrobots.txt
User-agent: *
Disallow: /
صحيحrobots.txt
User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

كيف تُصلح

احفظ الملف باسم robots.txt في جذر موقعك (https://example.com/robots.txt)، ثم اختبر عنواناً عليه بأداة اختبار robots:

  • امنع مسارات لا قيمة لها في البحث (لوحة الإدارة والسلة وصفحة البحث)، لا الصفحات التي تريد أن تُوجَد.
  • ولإبقاء صفحة خارج Google استعمل noindex في الصفحة لا robots.txt: قد تُعرض الصفحة المحجوبة من الروابط إليها.
  • وفي منصات مثل سلة وزد وShopify تكتب المنصة الملف؛ فراجع ما تكتبه وغيّره حيث تتيح المنصة.
  • سمِّ خريطة الموقع هنا لتجدها الزواحف.
robots.txt
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://www.example.com/sitemap.xml

أسئلة شائعة

لا. Googlebot زاحف غير Google-Extended الذي يتحكم في استعمال Google لصفحاتك في تدريب نماذجها. ومنع Google-Extended لا يغيّر البحث.

الأمر لك. المنع يعني ألا تقرأ المساعدات صفحاتك لتجيب منها ولا ترسل مستخدميها إليك. وكثير من المواقع تسمح لها لهذا السبب.

لا. يطلب من الزواحف المحترمة أن تبتعد، ويقرؤه أي أحد. وإخفاء الصفحة يكون بوضعها خلف كلمة مرور.

كيف نقيس

آخر تحديث المنهجية وحساب الدرجة

يعمل المولّد في متصفحك. وزواحف الذكاء الاصطناعي هي قائمة فحوص زواحف الذكاء الاصطناعي في Arablyzer، لكل منها الـ product token الذي توثقه جهته والغرض الذي تذكره (تدريب أو بحث)، وآخر مراجعة لها في 2026-09-24. ويجري اختبار فحوص robots على الملفات التي يكتبها.