انتقل إلى المحتوى

فحص robots.txt

هل يمنع ملف robots.txt زاحف Google من صفحتك؟

  • فحص صفحتك
  • يقرأ:robots.txt
  • قاعدة واحدة
  • آخر تحديث

يقرأ: robots.txt

مجاني وبلا تسجيل.

ماذا نحفظ؟

نحفظ العنوان كما ترسله، بما فيه ما بعد علامة الاستفهام، ويظهر في تقريره. يفتح التقرير كل من يملك رابطه، فلا تضع في العنوان مفاتيح أو رموز دخول أو بيانات شخصية.

النتيجة تظهر هنا

أدخل رابط صفحتك واضغط «افحص الصفحة». هذا ما تشغّله الأداة عليها:

  • robots.txt يمنع Googlebot من الصفحةلم تبدأ

ماذا تفحص

  • هل يمنع robots.txt الزاحف Googlebot من الصفحة: نقرأ المجموعة التي تسمّيه، أو مجموعة * إن لم توجد، وتحكم أطول قاعدة تطابق مسار الصفحة.
  • القاعدة التي تمنعه ورقم سطرها في الملف، مثل Disallow: / الذي قد يبقى من نسخة التطوير بعد إطلاق الموقع.
  • هل يرد robots.txt بخطأ من الخادم (5xx) أو بالحالة 429، أو يتعذّر الوصول إليه، وهي حالات يعاملها Google مؤقتاً كمنع للموقع كله.

مثال

خطأrobots.txt
User-agent: *
Disallow: /

Sitemap: https://example.com/sitemap.xml
صحيحrobots.txt
User-agent: *
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

كيف تُصلح

احذف قاعدة المنع، أو ضيّقها على ما تريد منعه فعلاً، واترك باقي الموقع مفتوحاً للزحف:

  • تأكد أن /robots.txt يرد بالحالة 200، أو بالحالة 404 إن لم تكن تحتاج إليه، ولا يرد أبداً بخطأ 5xx.
  • بعد التعديل راجع تقرير robots.txt في Google Search Console.
robots.txt
# يمنع لوحة الإدارة وحدها
User-agent: *
Disallow: /admin/

أسئلة شائعة

لا. يمنع robots.txt الزاحف Googlebot من قراءة الصفحة، لكنها قد تظهر في النتائج رابطاً بلا وصف. لإخفاء صفحة من النتائج استخدم noindex واترك الصفحة مفتوحة للزحف، لأن Google لا يرى noindex في صفحة ممنوعة من الزحف.

لا بأس. إذا ردّ /robots.txt بالحالة 404، أو بخطأ آخر من فئة 4xx غير 429، فلا قيود على الزحف، وتنجح الأداة. أما الرد بخطأ 5xx أو بالحالة 429 فيجعل Google يتوقف مؤقتاً عن زحف الموقع كله حتى يقرأ الملف من جديد.

لا. إذا وُجدت مجموعة تسمّي Googlebot فهو يتبع قواعدها وحدها ويترك مجموعة *، وإذا تكررت مجموعته في الملف دُمجت قواعدها. لذلك قد يُمنع Googlebot وحده بينما تبدو مجموعة * سليمة.

كيف نقيس

آخر تحديث المنهجية وحساب الدرجة

نجلب الصفحة باسم ArablyzerBot ونتبع تحويلاتها، ثم نجلب /robots.txt من أصل رابطها النهائي، ونتبع 5 تحويلات على الأكثر ونقرأ أول 500 كيلوبايت منه، كما يفعل Google. نحلله حسب RFC 9309، مع التسامح الذي يوثّقه Google، مثل الأخطاء الإملائية الشائعة في أسماء الحقول، ثم نطبّق قاعدة واحدة: نختار مجموعة Googlebot أو مجموعة *، وتحكم أطول قاعدة تطابق مسار الصفحة، وعند التساوي تفوز Allow. الرد 4xx، مثل 404، يعني لا قيود، والرد 5xx أو 429، أو تعذّر الاتصال، يعني منع الموقع كله. ولأننا لا نجلب الملف باسم Googlebot، فإذا كان خادمك أو جدار الحماية يرد على Googlebot بشيء مختلف فالنتيجة تصف ما استلمناه نحن. ويعطي الملف نفسه النتيجة نفسها في كل فحص.