ماذا تعني
- حين طلب Googlebot الصفحة ردّ الخادم بـ
401 Unauthorized: الصفحة تطلب بيانات دخول، وGooglebot لا يرسل بيانات دخول أبداً، فلم يصل إلى محتواها ولم يفهرسها. - إن كانت الصفحة خاصة، مثل حساب العميل أو لوحة الإدارة، فهذا ما تريده: طلب تسجيل الدخول من الطرق التي يذكرها Google لإبقاء صفحة خارج نتائج البحث.
- المشكلة أن تظهر الرسالة لصفحات عامة تريدها في البحث.
لماذا تظهر
يرد الخادم بـ 401 حين يطلب بيانات دخول صالحة لم تصله، ويرسل معه ترويسة WWW-Authenticate التي تحدد طريقة الدخول المطلوبة:
HTTP/1.1 401 Unauthorized
WWW-Authenticate: Basic realm="staging"ومن الأسباب الشائعة:
- نسخة تجريبية أو موقع قيد الإنشاء محمي بكلمة مرور، وظهرت روابطه في صفحات عامة أو في خريطة الموقع.
- حماية بكلمة مرور على مجلد أو على الموقع كله من لوحة الاستضافة، بقيت بعد الإطلاق.
- صفحات للأعضاء، مثل الطلبات أو الحساب، تشير إليها روابط في صفحات عامة.
كيف تُصلح
قرّر أولاً: هل تريد الصفحة في نتائج البحث؟
- إن كانت عامة: أزل طلب الدخول عنها في إعدادات الخادم أو الاستضافة أو نظام إدارة المحتوى، حتى ترد بـ
200لأي زائر. - إن كانت خاصة: أبقِ
401، واحذفها من خريطة الموقع ومن روابط صفحاتك العامة. ولك أيضاً أن تمنع الزحف إليها في robots.txt. - إن أردت أن يفهرسها Google وتبقى مغلقة على الزوار: يذكر Google السماح لـ Googlebot بالدخول بعد التحقق من هويته، لكنه ينبّه إلى أن Googlebot يمكن انتحاله، فالسماح له بالدخول يلغي حماية الصفحة عملياً. فلا تفعل ذلك إلا لصفحات بلا بيانات سرية.
كيف تتحقق من الإصلاح
- افتح الصفحة في نافذة التصفح المتخفي دون تسجيل دخول: إن طُلبت منك بيانات دخول، فهذا ما يلقاه Googlebot.
- اطلب الصفحة بالأمر
curl -I، وتأكد أنها ترد بـ200. - في Search Console افتح أداة فحص عنوان URL، وشغّل الاختبار المباشر للرابط؛ ويجب أن يصل الاختبار إلى الصفحة من الإنترنت دون أي تسجيل دخول.
- ثم اطلب الفهرسة من الأداة نفسها، واطلب من تقرير فهرسة الصفحات التحقق من الإصلاح.
أسئلة شائعة
ما الفرق بين 401 و403؟
401 يعني أن الطلب ينقصه بيانات دخول صالحة، ويرسل الخادم معه طريقة الدخول المطلوبة. أما 403 فيعني أن الخادم فهم الطلب ورفضه، ولا يغيّر تسجيل الدخول شيئاً. ولأن Googlebot لا يرسل بيانات دخول أبداً، يقول Google إن الخادم الذي يرد عليه بـ 403 يرد بهذا الخطأ دون وجه حق.
هل تخرج الصفحة من الفهرس إن كانت مفهرسة من قبل؟
نعم، مع الوقت: لا يفهرس Google الروابط التي ترد بخطأ من فئة 4xx، ويحذف من الفهرس ما كان مفهرساً منها، ويقلّ زحفه إليها تدريجياً.
كيف أتأكد أن زائراً يسمّي نفسه Googlebot هو Googlebot فعلاً؟
اسم Googlebot في الطلب وحده لا يكفي، فأي أحد يستطيع انتحاله. خذ عنوان IP من سجلات الخادم، وابحث عن اسم النطاق الذي يشير إليه (بحث DNS عكسي)، وتأكد أنه من googlebot.com أو google.com أو googleusercontent.com، ثم ابحث عن عنوان IP لهذا الاسم وتأكد أنه العنوان نفسه. أو قارن العنوان بقوائم عناوين IP التي ينشرها Google لزواحفه.