مولّد ملف robots.txt
اكتب ملف robots.txt: امنع مسارات، واختر ما تفعله زواحف الذكاء الاصطناعي، وسمِّ خريطة موقعك.
- مولّد
- قاعدتان
- آخر تحديث
ماذا تفحص
- أن الملف لا يمنع Googlebot أبداً: الملف الذي تأخذه يدخله.
- زواحف تدريب الذكاء الاصطناعي وزواحف بحثه اختياران منفصلان، بأسماء (product tokens) توثقها جهاتها: تُبعد نصك عن التدريب وتبقى مقروءاً حين يجيب مساعد عن سؤال.
- يُكتب كل مسار من الجذر ويُفحص مما لا يحتمله robots.txt، وكل خريطة موقع عنوان كامل.
- ملاحظة تقول ما لا يفعله الملف: robots.txt يطلب ولا يُجبر.
مثال
User-agent: * Disallow: /
User-agent: * Disallow: /admin/ User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended Disallow: / Sitemap: https://www.example.com/sitemap.xml
كيف تُصلح
احفظ الملف باسم robots.txt في جذر موقعك (https://example.com/robots.txt)، ثم اختبر عنواناً عليه بأداة اختبار robots:
- امنع مسارات لا قيمة لها في البحث (لوحة الإدارة والسلة وصفحة البحث)، لا الصفحات التي تريد أن تُوجَد.
- ولإبقاء صفحة خارج Google استعمل
noindexفي الصفحة لا robots.txt: قد تُعرض الصفحة المحجوبة من الروابط إليها. - وفي منصات مثل سلة وزد وShopify تكتب المنصة الملف؛ فراجع ما تكتبه وغيّره حيث تتيح المنصة.
- سمِّ خريطة الموقع هنا لتجدها الزواحف.
User-agent: *
Disallow: /admin/
Disallow: /cart/
Sitemap: https://www.example.com/sitemap.xmlأسئلة شائعة
لا. Googlebot زاحف غير Google-Extended الذي يتحكم في استعمال Google لصفحاتك في تدريب نماذجها. ومنع Google-Extended لا يغيّر البحث.
الأمر لك. المنع يعني ألا تقرأ المساعدات صفحاتك لتجيب منها ولا ترسل مستخدميها إليك. وكثير من المواقع تسمح لها لهذا السبب.
لا. يطلب من الزواحف المحترمة أن تبتعد، ويقرؤه أي أحد. وإخفاء الصفحة يكون بوضعها خلف كلمة مرور.
ما تشغّله هذه الأداة
- robots.txt يمنع Googlebot من الصفحةحرِج
robots-blocks-googlebot - robots.txt يمنع زواحف البحث بالذكاء الاصطناعيمتوسط
robots-blocks-ai-search
كيف نقيس
يعمل المولّد في متصفحك. وزواحف الذكاء الاصطناعي هي قائمة فحوص زواحف الذكاء الاصطناعي في Arablyzer، لكل منها الـ product token الذي توثقه جهته والغرض الذي تذكره (تدريب أو بحث)، وآخر مراجعة لها في 2026-09-24. ويجري اختبار فحوص robots على الملفات التي يكتبها.