فحص قابلية الأرشفة
هل تمنع الصفحة أو ملف robots.txt ظهورها في البحث؟
- فحص صفحتك
- يقرأ:HTML
- 3 قواعد
- آخر تحديث
ماذا نحفظ؟
النتيجة تظهر هنا
أدخل رابط صفحتك واضغط «افحص الصفحة». هذا ما تشغّله الأداة عليها:
- الصفحة تمنع أرشفتها في محركات البحث (noindex)لم تبدأ
- روابط canonical متعارضة في الصفحةلم تبدأ
- robots.txt يمنع Googlebot من الصفحةلم تبدأ
ماذا تفحص
- هل تطلب الصفحة ألا تُؤرشف:
noindexأوnoneفي وسم<meta name="robots">أو<meta name="googlebot">، أو في ترويسةX-Robots-Tag. - هل تعطي الصفحة أكثر من رابط canonical مختلف، في وسوم
<link rel="canonical">أو في ترويسةLink، فقد يتجاهلها Google كلها ويختار الأصل بنفسه. - هل يمنع robots.txt الزاحف
Googlebotمن الصفحة، أو يرد بخطأ من الخادم (5xx) أو بالحالة 429، وهو ما يعامله Google مؤقتاً كمنع للموقع كله.
مثال
User-agent: * Disallow: /admin/ User-agent: Googlebot Disallow: /
User-agent: * Disallow: /admin/
كيف تُصلح
احذف noindex وnone من المكان الذي جاءت منه، وسماً كان أو ترويسة:
- إذا جاءت من ترويسة
X-Robots-Tagفابحث في إعدادات الخادم:Header set X-Robots-Tagفي Apache، وadd_header X-Robots-Tagفي nginx، أو في إعدادات CDN. - في WordPress ألغِ خيار منع محركات البحث من فهرسة الموقع في «الإعدادات ← القراءة»، وراجع إعدادات إضافة SEO للصفحة نفسها.
- احذف من robots.txt القاعدة التي تمنع Googlebot، أو ضيّقها على ما تريد منعه فعلاً، وراجع المجموعة التي تسمّيه إن وُجدت، لأنه يتبعها وحدها ويترك مجموعة
*. - أبقِ رابط canonical واحداً، برابط كامل، من مصدر واحد: القالب أو إضافة SEO أو ترويسة
Link.
<!-- احذف هذا الوسم، أو أبقِ فيه القواعد الأخرى فقط -->
<meta name="robots" content="noindex, follow" />أسئلة شائعة
يطلب noindex من Google ألا يعرض الصفحة في النتائج، ولا يراه Google إلا إذا قرأ الصفحة. أما robots.txt فيمنع Googlebot من قراءتها، وقد تظهر رغم ذلك في النتائج رابطاً بلا وصف. لإخفاء صفحة استخدم noindex واترك الصفحة مفتوحة للزحف؛ فإن منعتها في robots.txt أيضاً لم يرَ Google noindex.
لا. إذا كنت تقصد إخفاء الصفحة، مثل صفحة «شكراً لطلبك» أو نتائج البحث الداخلي، فهذه النتيجة لا تحتاج إلى إصلاح. وإنما المشكلة أن يكون noindex في صفحات تريدها في البحث، باقياً من نسخة التطوير أو مضافاً من إعداد في نظام إدارة المحتوى.
لا. تتحقق الأداة من أن الصفحة لا تطلب منع أرشفتها، ولا يمنعها robots.txt، ولا تعطي روابط canonical متعارضة؛ أما الأرشفة نفسها فقرار Google. وتبيّن أداة فحص عنوان URL في Google Search Console حالة الصفحة عند Google.
ما تشغّله هذه الأداة
- الصفحة تمنع أرشفتها في محركات البحث (noindex)حرِج
page-noindex - روابط canonical متعارضة في الصفحةخطير
canonical-conflict - robots.txt يمنع Googlebot من الصفحةحرِج
robots-blocks-googlebot
كيف نقيس
نجلب الصفحة باسم ArablyzerBot، ونتبع تحويلاتها، ونقرأ ترويساتها وHTML كما يرسله الخادم، قبل تشغيل JavaScript، ثم نجلب /robots.txt من أصل رابطها النهائي. ونطبّق ثلاث قواعد. الأولى تبحث عن noindex وnone في وسوم <meta> باسم robots أو googlebot، وفي كل ترويسات X-Robots-Tag، وتتجاهل القواعد الموجّهة إلى زواحف غير Googlebot. والثانية تجمع روابط canonical من <head> ومن ترويسات Link، وتحوّلها إلى روابط كاملة وتقارنها؛ ولا تنطبق هاتان القاعدتان إلا إذا ردّت الصفحة بحالة 2xx. والثالثة تقرأ robots.txt حسب RFC 9309، مع التسامح الذي يوثّقه Google، فتختار مجموعة Googlebot أو مجموعة *، وتحكم أطول قاعدة تطابق مسار الصفحة. ولأننا لا نجلب شيئاً باسم Googlebot، فإذا كان خادمك يرد عليه بشيء مختلف فالنتيجة تصف ما استلمناه نحن. وتعطي الصفحة نفسها النتيجة نفسها في كل فحص.