انتقل إلى المحتوى

robots.txt يمنع Googlebot من الصفحة

robots-blocks-googlebotحرِج
في هذه الصفحة

لماذا يهم

  • Googlebot هو زاحف Google الذي يقرأ صفحاتك ليعرضها في نتائج البحث. إذا منعه robots.txt من صفحة فلن يقرأ محتواها، وقد تظهر في النتائج رابطاً بلا وصف، أو لا تظهر.
  • سطر واحد مثل Disallow: / يمنع الموقع كله، وقد يبقى من نسخة التطوير بعد إطلاق الموقع.
  • إذا ردّ robots.txt بخطأ من الخادم (5xx) أو بالحالة 429 فإن Google يتوقف مؤقتاً عن زحف الموقع كله حتى يقرأ الملف من جديد.
  • robots.txt ليس طريقة لإخفاء صفحة من النتائج؛ لذلك استخدم noindex واترك الصفحة مفتوحة للزحف.

مثال

خطأ
# Keep Google out while the new store is being built
User-agent: Googlebot
Disallow: /
صحيح
User-agent: *
Disallow: /admin/

كيف تُصلح

احذف قاعدة المنع أو ضيّقها على ما تريد منعه فعلاً:

text
# قبل: يمنع الموقع كله
User-agent: *
Disallow: /

# بعد: يمنع لوحة الإدارة فقط
User-agent: *
Disallow: /admin/
  • تأكد أن /robots.txt يرد بالحالة 200، أو بالحالة 404 إن لم تكن تحتاج إليه، ولا يرد أبداً بخطأ 5xx.
  • بعد التعديل راجع تقرير robots.txt في Google Search Console.

كيف نكشف

  1. نجلب /robots.txt من أصل الرابط النهائي بعد التحويلات، ونتبع حتى 5 تحويلات، ونقرأ أول 500 كيلوبايت، كما يفعل Google.
  2. نحلله حسب RFC 9309، ونتسامح كما يتسامح محلل Google المفتوح المصدر مع الأخطاء الإملائية الشائعة في أسماء الحقول ونسيان النقطتين.
  3. نختار مجموعة Googlebot، أو مجموعة * إن لم توجد مجموعة باسمه، وندمج المجموعات التي تحمل الاسم نفسه، ثم نطبق أطول قاعدة مطابقة؛ وعند التساوي تفوز Allow. ندعم * و$.
  4. الرد 5xx أو 429، أو تعذّر الاتصال، يعني منع الموقع كله. الرد 4xx، مثل 404، يعني لا قيود.

نجلب robots.txt باسم ArablyzerBot لا باسم Googlebot؛ إذا كان خادمك أو جدار الحماية يرد على Googlebot بشيء مختلف فالنتيجة تعكس ما استلمناه نحن.