لماذا يهم
- قاعدة
noindexتجعل Google يحذف الصفحة من نتائج البحث كلياً، حتى لو كانت مواقع أخرى تشير إليها. وnoneتعنيnoindexمعnofollow. - قد تبقى من نسخة التطوير أو من إعداد في نظام إدارة المحتوى، مثل خيار ظهور الموقع لمحركات البحث في إعدادات القراءة في WordPress، الذي يضيف
noindexإلى كل صفحة. - الترويسة
X-Robots-Tagلا تظهر في كود الصفحة، فقد تمر دون أن يلاحظها أحد، وهي تعمل على الملفات الأخرى أيضاً مثل PDF. - إذا كنت تقصد إخفاء الصفحة، مثل صفحة «شكراً لطلبك» أو نتائج البحث الداخلي، فهذه النتيجة لا تحتاج إلى إصلاح.
مثال
<meta name="robots" content="noindex, follow" />
<meta name="robots" content="max-image-preview:large" />
كيف تُصلح
احذف noindex وnone من المكان الذي جاءت منه:
html
<!-- احذف هذا الوسم، أو أبقِ فيه القواعد الأخرى فقط -->
<meta name="robots" content="noindex, follow" />- إذا جاءت من الترويسة فابحث في إعدادات الخادم: في Apache عن
Header set X-Robots-Tag، وفي nginx عنadd_header X-Robots-Tag، أو في إعدادات CDN. - في WordPress ألغِ خيار منع محركات البحث من فهرسة الموقع في «الإعدادات ← القراءة»، وراجع إعدادات إضافة SEO للصفحة نفسها.
- حتى يرى Google الإزالة يجب ألا تكون الصفحة ممنوعة في robots.txt، لأن Google لا يقرأ صفحة ممنوعة من الزحف.
كيف نكشف
- نفحص الصفحات التي ردّت بحالة 2xx فقط، سواء كانت HTML أو ملفات أخرى.
- في HTML نقرأ وسوم
<meta>باسمrobotsأوgooglebotبأي حالة أحرف، ونفصل قواعدها بالفواصل، ونبحث عنnoindexأوnone. - نقرأ كل ترويسات
X-Robots-Tagفي الاستجابة. القاعدة التي تسبقها بادئة زاحف، مثلgooglebot: noindex، لا تهمنا إلا إذا كان الزاحف Googlebot؛ أما القواعد لزواحف أخرى، مثلotherbot: noindex، فنتجاهلها. - لكل مصدر مخالفة مستقلة تذكر القيمة كما وصلت.