ماذا تعني
- حين طلب Googlebot الصفحة ردّ الخادم بـ
403 Forbidden: فهم الطلب ورفض تنفيذه، فلم يصل Google إلى الصفحة ولن يفهرسها. - يقول Google إن
403يعني أن الزائر قدّم بيانات دخول ولم يُمنح الإذن، وGooglebot لا يقدّم بيانات دخول أبداً، فخادمك يرد عليه بهذا الخطأ دون وجه حق. - إن كنت تريد الصفحة في البحث، فالحل أن يصل إليها الزوار دون تسجيل دخول، أو أن تسمح لطلبات Googlebot صراحةً بعد التحقق من هويته.
لماذا تظهر
يرد الخادم بـ 403 حين يرفض الطلب لسبب يخصه، ولا يغيّر تسجيل الدخول شيئاً. ومن الأسباب الشائعة:
- جدار حماية أو نظام حماية من هجمات DoS يحظر Googlebot: يقول Google إن هذه الأنظمة قد تحظره لأنه يرسل طلبات أكثر مما يرسل الزائر.
- إضافة أمان أو قاعدة في الخادم تحظر الزواحف بأسمائها أو بعناوين IP.
- حظر الزوار من خارج بلدان معينة، وعناوين IP الافتراضية لـ Googlebot تبدو في الولايات المتحدة.
- صلاحيات على الخادم تمنع الوصول إلى الملف أو المجلد.
كيف تُصلح
- ابحث في سجلات الخادم عن طلبات Googlebot التي ردّ عليها بـ
403، وحدد الطبقة التي ردّت: شبكة توزيع المحتوى (CDN)، أو جدار الحماية، أو الخادم، أو إضافة في نظام إدارة المحتوى. - اسمح لـ Googlebot في تلك الطبقة، لكن بعد التحقق من هويته لا باسمه وحده، فأي أحد يستطيع أن يسمّي نفسه Googlebot.
- إن لم يكن جدار الحماية تحت يدك، فراجع شركة الاستضافة.
للتحقق من طلب يدّعي أنه من Googlebot، ابحث عن اسم النطاق لعنوان IP الذي في سجلاتك، وتأكد أنه من googlebot.com أو google.com أو googleusercontent.com، ثم ابحث عن عنوان IP لهذا الاسم وتأكد أنه العنوان نفسه، كما في مثال Google:
host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1ولقواعد جدار الحماية يمكنك أيضاً مطابقة العناوين بقوائم عناوين IP التي ينشرها Google لزواحفه.
كيف تتحقق من الإصلاح
- راقب في سجلات الخادم طلبات Googlebot بعد التعديل: يجب أن يرد الخادم عليها بـ
200. - في Search Console افتح أداة فحص عنوان URL، وشغّل الاختبار المباشر للرابط.
- ثم اطلب الفهرسة من الأداة نفسها، واطلب من تقرير فهرسة الصفحات التحقق من الإصلاح.
أسئلة شائعة
لماذا يقول Google إن الرد بـ 403 خطأ من خادمي؟
لأن 403 يعني أن الزائر قدّم بيانات دخول ورُفضت، وGooglebot لا يقدّم بيانات دخول أبداً. فإن كانت الصفحة تتطلب تسجيل الدخول فعلاً، فالرمز المناسب 401، الذي يعني أن الطلب ينقصه بيانات دخول صالحة؛ وإن كانت عامة، فلا سبب لرفض Googlebot.
هل أستخدم 403 لإبطاء زحف Google؟
لا. يقول Google ألا تستخدم 401 ولا 403 للحد من معدل الزحف، لأن رموز 4xx، عدا 429، لا تؤثر فيه، والصفحة التي ترد بها تخرج من الفهرس. إن احتجت إلى تخفيف الزحف في حالة طارئة، فردّ مؤقتاً بـ 500 أو 503 أو 429، لساعات أو ليوم أو يومين، لا أكثر.
موقعي يحظر الزوار من خارج الخليج، فهل يتأثر Googlebot؟
على الأرجح. يقول Google إن عناوين IP الافتراضية لزاحفه تبدو في الولايات المتحدة، وإنه يزحف أيضاً من عناوين خارجها، وينصح بأن تعامل Googlebot كما تعامل أي زائر من البلد الذي يبدو قادماً منه. فإن رددت بـ 403 على الزوار من الولايات المتحدة، فسترد به على Googlebot حين يزحف من عناوينه الافتراضية.
المراجع
- مساعدة Search Console: تقرير فهرسة الصفحات
- Google Crawling Infrastructure: التحقق من طلبات زواحف Google
- Google Crawling Infrastructure: كيف تؤثر رموز حالة HTTP في زواحف Google
- Google Crawling Infrastructure: تخفيض معدل زحف Google
- Google Search Central: كيف يزحف Google إلى الصفحات التي تتغير حسب بلد الزائر
- MDN: 403 Forbidden (بالإنجليزية)