لماذا يهم
- الزائر الذي يتبع رابطاً معطّلاً يصل إلى صفحة خطأ، فلا يجد ما وعده به الرابط، وقد يغادر.
- ويستند Google إلى الروابط ليعرف صلة الصفحات ببعضها، وليجد صفحات جديدة يزحف إليها. والرابط الذي يقود إلى خطأ لا يوصل إلى شيء.
- ولا يفهرس Google العناوين التي ترد برمز حالة
4xx. أما الخطأ5xxفيطلب من زواحف Google أن تبطئ الزحف مؤقتاً.
مثال
<a href="/ar/ofers/">العروض</a>
<a href="/ar/offers/">العروض</a>
كيف تُصلح
صحّح العنوان في الرابط، أو أعِد الصفحة التي يقود إليها. وإن كانت الصفحة قد انتقلت إلى عنوان جديد فحوّل عنوانها القديم إليه بتحويل دائم، حتى يعمل كل رابط قديم إليها:
nginx
location = /ar/ofers/ {
return 301 /ar/offers/;
}- واحذف الروابط إلى الصفحات التي أُزيلت نهائياً.
- وإن كان الخطأ
5xxفالعطل في الخادم: ابحث عنه في سجلات أخطائه. - وفي Apache (الوحدة mod_alias):
Redirect permanent /ar/ofers/ /ar/offers/.
كيف نكشف
- نقرأ روابط
<a href>و<area href>في HTML الصفحة كما يرسلها الخادم، قبل تشغيل JavaScript، بعد أن نكمل عناوينها بعنوان الصفحة الأساسي. ونفحص منها ما يقود إلى أصل الصفحة نفسه، أي البروتوكول والاسم والمنفذ نفسها: فالروابط إلى مواقع أخرى، أو إلى اسم آخر للنطاق نفسه مثلwww، لا نفحصها. ونفحص كل عنوان مرة، ونترك ما بعد#، والصفحة نفسها، والعناوين التي فيها اسم مستخدم أو كلمة مرور. - لا نطلب رابطاً في مسار يمنعه ملف robots.txt عن
ArablyzerBot: بمجموعة تسمّيه، أو بمجموعةUser-agent: *إن لم تكن مجموعة تسمّيه. فالصفحة نفسها زيارة طلبها شخص، فلا يوقفها إلا مجموعة تسمّيArablyzerBot؛ أما روابطها فطلبات من الفحص نفسه يجريها كما يجريها زاحف، فتسري عليها مجموعة*أيضاً. - لا نعدّ أكثر من 1,000 رابط في الصفحة، ونفحص أول 50 رابطاً، أربعة معاً، في 20 ثانية على الأكثر، وكل طلب في 10 ثوانٍ على الأكثر (فالرابط قد يأخذ طلبين:
HEADثمGET). ويقول التقرير كم رابطاً لم نفحص، ويقول «على الأقل» إن كان في الصفحة أكثر من 1,000. - نطلب كل رابط بالطريقة
HEAD، فإن ردّ بخطأ4xxأو5xx، أو تعذّر الاتصال، طلبناه بالطريقةGET، كما يطلبه متصفح الزائر، وتحكم حالةGET. أما انتهاء الوقت، أو عنوان يرفضه بروكسي الخروج، فلا يتبعه طلبGET. ولا نتبع التحويلات، فالرابط الذي يرد بتحويل3xxيعمل عندنا، ولا نقرأ محتوى أي رد. وكل طلب يمر ببروكسي الخروج الذي يفحص كل عنوان، كما يمر طلب الصفحة. - تفشل القاعدة لكل رابط يرد بحالة من
400إلى599، عدا401و403و407و429و503. فهذه الخمس هي ما يردّ به الموقع على زائر يظنه بوتاً، أو على من عليه أن يسجّل الدخول، أو حين يعجز عن الخدمة مؤقتاً، ولا تقول شيئاً عن صلاحية الرابط، فلا نحكم بها. ولا نحكم بانتهاء الوقت ولا بتعذّر الاتصال. وبعد أول رد بالحالة429، التي يطلب بها الخادم إبطاء الطلبات، لا نطلب رابطاً آخر. ويقول التقرير كم رابطاً لم يصل جوابه. وإذا لم يصل جواب أي رابط فالقاعدة تعذّر تشغيلها. - نفحص روابط الصفحة المفحوصة وحدها، ولا نزحف إلى صفحات الموقع الأخرى.