انتقل إلى المحتوى

robots.txt يمنع Googlebot من سكربتات الصفحة أو أنماطها

robots-blocks-resourcesمتوسط
في هذه الصفحة

لماذا يهم

  • تعرض Google الصفحة كما يعرضها المتصفح، بسكربتاتها وملفات أنماطها. ويقول دليلها لأساسيات JavaScript إن بحث Google لا يعرض JavaScript من الملفات المحظورة.
  • ويسمح دليلها لـrobots.txt بحظر الملفات التي تستغني عنها الصفحة، ويضيف: إن كان غيابها يجعل فهم الصفحة أصعب على زاحف Google، فلا تحظرها.
  • ملف أنماط محظور قد يجعل صفحة الجوال تبدو لـGoogle صفحة حاسوب، وسكربت محظور قد يخفي النص أو الروابط التي يكتبها.

مثال

خطأ
User-agent: Googlebot
Disallow: /assets/
صحيح
User-agent: Googlebot
Allow: /

كيف تُصلح

اسمح لـGooglebot بالمجلدات التي تأتي منها سكربتات الصفحة وأنماطها:

robots-txt
User-agent: Googlebot
Allow: /
  • القواعد القديمة مثل Disallow: /assets/ أو /wp-includes/ أو /js/ سبب شائع؛ احذفها، أو أضف سطر Allow للملفات التي تحتاجها الصفحة.
  • حظر ملف لا تحتاجه الصفحة، كسكربت إحصاءات، مسموح؛ ويسمّي هذا الفحص كل ملف لتحكم أنت.

كيف نكشف

  1. نعرض الصفحة ونسرد السكربتات وملفات الأنماط التي تحمّلها من عنوانها نفسه (البروتوكول والنطاق والمنفذ نفسها)، في كل محرّك.
  2. نختبر كلاً منها على robots.txt الموقع كما تقرؤه Google، لـGooglebot: المجموعات التي تسمّيه، وإلا مجموعة *؛ والقاعدة المطابقة الأطول هي التي تحكم.
  3. لا نحكم على الملفات في نطاقات أخرى، فلها robots.txt خاص بها، ولا على الصور والخطوط، ولا على الملفات التي أجابت بخطأ (تلك تبلّغ عنها قاعدة resources-broken).