فحص robots.txt
هل يمنع ملف robots.txt زاحف Google من صفحتك؟
- فحص صفحتك
- يقرأ:robots.txt
- قاعدة واحدة
- آخر تحديث
ماذا نحفظ؟
النتيجة تظهر هنا
أدخل رابط صفحتك واضغط «افحص الصفحة». هذا ما تشغّله الأداة عليها:
- robots.txt يمنع Googlebot من الصفحةلم تبدأ
ماذا تفحص
- هل يمنع robots.txt الزاحف
Googlebotمن الصفحة: نقرأ المجموعة التي تسمّيه، أو مجموعة*إن لم توجد، وتحكم أطول قاعدة تطابق مسار الصفحة. - القاعدة التي تمنعه ورقم سطرها في الملف، مثل
Disallow: /الذي قد يبقى من نسخة التطوير بعد إطلاق الموقع. - هل يرد robots.txt بخطأ من الخادم (5xx) أو بالحالة 429، أو يتعذّر الوصول إليه، وهي حالات يعاملها Google مؤقتاً كمنع للموقع كله.
مثال
User-agent: * Disallow: / Sitemap: https://example.com/sitemap.xml
User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
كيف تُصلح
احذف قاعدة المنع، أو ضيّقها على ما تريد منعه فعلاً، واترك باقي الموقع مفتوحاً للزحف:
- تأكد أن
/robots.txtيرد بالحالة 200، أو بالحالة 404 إن لم تكن تحتاج إليه، ولا يرد أبداً بخطأ 5xx. - بعد التعديل راجع تقرير robots.txt في Google Search Console.
# يمنع لوحة الإدارة وحدها
User-agent: *
Disallow: /admin/أسئلة شائعة
لا. يمنع robots.txt الزاحف Googlebot من قراءة الصفحة، لكنها قد تظهر في النتائج رابطاً بلا وصف. لإخفاء صفحة من النتائج استخدم noindex واترك الصفحة مفتوحة للزحف، لأن Google لا يرى noindex في صفحة ممنوعة من الزحف.
لا بأس. إذا ردّ /robots.txt بالحالة 404، أو بخطأ آخر من فئة 4xx غير 429، فلا قيود على الزحف، وتنجح الأداة. أما الرد بخطأ 5xx أو بالحالة 429 فيجعل Google يتوقف مؤقتاً عن زحف الموقع كله حتى يقرأ الملف من جديد.
لا. إذا وُجدت مجموعة تسمّي Googlebot فهو يتبع قواعدها وحدها ويترك مجموعة *، وإذا تكررت مجموعته في الملف دُمجت قواعدها. لذلك قد يُمنع Googlebot وحده بينما تبدو مجموعة * سليمة.
ما تشغّله هذه الأداة
- robots.txt يمنع Googlebot من الصفحةحرِج
robots-blocks-googlebot
كيف نقيس
نجلب الصفحة باسم ArablyzerBot ونتبع تحويلاتها، ثم نجلب /robots.txt من أصل رابطها النهائي، ونتبع 5 تحويلات على الأكثر ونقرأ أول 500 كيلوبايت منه، كما يفعل Google. نحلله حسب RFC 9309، مع التسامح الذي يوثّقه Google، مثل الأخطاء الإملائية الشائعة في أسماء الحقول، ثم نطبّق قاعدة واحدة: نختار مجموعة Googlebot أو مجموعة *، وتحكم أطول قاعدة تطابق مسار الصفحة، وعند التساوي تفوز Allow. الرد 4xx، مثل 404، يعني لا قيود، والرد 5xx أو 429، أو تعذّر الاتصال، يعني منع الموقع كله. ولأننا لا نجلب الملف باسم Googlebot، فإذا كان خادمك أو جدار الحماية يرد على Googlebot بشيء مختلف فالنتيجة تصف ما استلمناه نحن. ويعطي الملف نفسه النتيجة نفسها في كل فحص.