لماذا يهم
- تعرض Google الصفحة كما يعرضها المتصفح، بسكربتاتها وملفات أنماطها. ويقول دليلها لأساسيات JavaScript إن بحث Google لا يعرض JavaScript من الملفات المحظورة.
- ويسمح دليلها لـrobots.txt بحظر الملفات التي تستغني عنها الصفحة، ويضيف: إن كان غيابها يجعل فهم الصفحة أصعب على زاحف Google، فلا تحظرها.
- ملف أنماط محظور قد يجعل صفحة الجوال تبدو لـGoogle صفحة حاسوب، وسكربت محظور قد يخفي النص أو الروابط التي يكتبها.
مثال
User-agent: Googlebot Disallow: /assets/
User-agent: Googlebot Allow: /
كيف تُصلح
اسمح لـGooglebot بالمجلدات التي تأتي منها سكربتات الصفحة وأنماطها:
robots-txt
User-agent: Googlebot
Allow: /- القواعد القديمة مثل
Disallow: /assets/أو/wp-includes/أو/js/سبب شائع؛ احذفها، أو أضف سطرAllowللملفات التي تحتاجها الصفحة. - حظر ملف لا تحتاجه الصفحة، كسكربت إحصاءات، مسموح؛ ويسمّي هذا الفحص كل ملف لتحكم أنت.
كيف نكشف
- نعرض الصفحة ونسرد السكربتات وملفات الأنماط التي تحمّلها من عنوانها نفسه (البروتوكول والنطاق والمنفذ نفسها)، في كل محرّك.
- نختبر كلاً منها على robots.txt الموقع كما تقرؤه Google، لـGooglebot: المجموعات التي تسمّيه، وإلا مجموعة
*؛ والقاعدة المطابقة الأطول هي التي تحكم. - لا نحكم على الملفات في نطاقات أخرى، فلها robots.txt خاص بها، ولا على الصور والخطوط، ولا على الملفات التي أجابت بخطأ (تلك تبلّغ عنها قاعدة
resources-broken).