لماذا يهم
- تقرأ محركات البحث خريطة الموقع لتجد صفحاته. وإذا تعذّر على Google جلب الخريطة أو تحليلها، يعيد المحاولة بضعة أيام ثم يتوقف، وإذا جلبها وفيها أخطاء، لا يضيف إلى لائحة الزحف إلا العناوين التي حلّلها دون أخطاء.
- يجب أن يعطي سطر
Sitemap:في robots.txt عنواناً كاملاً، بما فيه البروتوكول والمضيف، كما تقول مواصفات Google لملف robots.txt، والمسار وحده، مثل/sitemap.xml، ليس عنواناً كاملاً. - يقرأ Google خرائط الموقع بلغة XML التي يحددها البروتوكول، وخلاصات RSS 2.0 وAtom 1.0، والملفات النصية التي فيها عنوان في كل سطر. والعنصر الجذر في خريطة XML هو
urlset، وفي فهرس الخرائطsitemapindex، وكلاهما في مساحة الاسمhttp://www.sitemaps.org/schemas/sitemap/0.9مكتوبةً كما هي تماماً، وSearch Console يعدّ غيرها مساحة اسم غير صحيحة. - وكما في كل ملفات XML، يجب ترميز أحرف مثل
&في العناوين. ويقول Google إن حرفاً غير مرمَّز في عنوان URL هو غالباً ما يمنعه من تحليل الخريطة. - ويجوز ضغط خريطة الموقع بـ gzip، في ملف مثل
sitemap.xml.gz، ويجب حينئذ أن يُفك ضغطها كاملةً. ويعدّ Search Console الخريطة التي لا يُفك ضغطها خطأ في الضغط.
مثال
User-agent: * Disallow: /cart/ Sitemap: /sitemap.xml
User-agent: * Disallow: /cart/ Sitemap: https://shop.example/sitemap.xml
كيف تُصلح
- أعطِ كل سطر
Sitemap:في robots.txt العنوان الكامل للخريطة:
text
Sitemap: https://www.example.com/sitemap.xml- افتح ذلك العنوان بنفسك: يجب أن يرد بالخريطة، لا بخطأ ولا بصفحة HTML. وإن لم يفعل، فصحّح العنوان في robots.txt، أو ضع الخريطة فيه.
- ابدأ خريطة XML بالعنصر الجذر ومساحة الاسم اللذين يحددهما البروتوكول، واكتب كل
&في العناوين&:
xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.example.com/ar/offers?page=2&sort=new</loc>
</url>
</urlset>- والأحرف الأخرى التي ترمّزها XML هي
'وتُكتب'، و"وتُكتب"، و>وتُكتب>، و<وتُكتب<. - وفي خريطة الموقع النصية عنوان كامل في كل سطر، ولا شيء غيره.
- اضغط الخريطة كاملةً باسم
sitemap.xml.gz، وقدّم ذلك الملف كما هو. فإن لم يعد لكgunzip sitemap.xml.gzالخريطة على جهازك أنت، فلن يعيدها لمحرك بحث: اكتبها من جديد.
كيف نكشف
- نقرأ كل سطر
Sitemap:في robots.txt، وتفشل القاعدة فوراً إذا لم تكن قيمته عنواناً كاملاً يبدأ بـhttps://أوhttp://. - نجلب باسم
ArablyzerBotأول 3 خرائط يسمّيها robots.txt بعناوين كاملة، أو/sitemap.xmlإن لم يسمِّ شيئاً، ونتبع التحويلات. ونقرأ من كل خريطة حتى25 MB، ونفك ضغط الملف المضغوط بـ gzip، ولا ننتظر الشبكة أكثر من 10 ثوانٍ للخرائط كلها. ولا نجلب الخرائط التي يسردها فهرس الخرائط، ولا ما يسمّيه robots.txt بعدها. - تفشل الخريطة التي يسمّيها robots.txt إذا ردّت بحالة خطأ، مثل
404أو410، أو بصفحة HTML. أما إن لم يسمِّ robots.txt شيئاً، فالخطأ أو صفحة HTML في/sitemap.xmlيعني أن لا خريطة هناك، وهذا ما تذكره قاعدةsitemap-missing، والخريطة الموجودة هناك نفحصها كغيرها. - يجب أن يكون ملف XML سليم البنية، لا كيانات فيه إلا كيانات XML نفسها، وله عنصر جذر واحد، وأن يكون جذره
urlsetأوsitemapindexفي مساحة اسم البروتوكول، أو خلاصة RSS 2.0 أو Atom 1.0. ونقبل علامة ترتيب البايتات والمسافات البيضاء قبل بداية XML، كما يقبلها Search Console. وتتوقف قراءة الملف ويفشل عند عناصر متداخلة في أكثر من 32 مستوى، أو عنصر فيه أكثر من 256 سمة، أو اسم أو قيمة أو تعليق أطول بكثير مما تحتاجه خريطة: لا شيء من هذا في خريطة موقع. وما ليس XML نقرؤه خريطةً نصية: يجب أن يكون كل سطر غير فارغ فيها عنواناً كاملاً. - وتفشل أيضاً خريطة
urlsetأوsitemapindexأو الخريطة النصية التي لا تسرد شيئاً. والخريطة التي تتجاوز25 MBنفحص أول25 MBمنها، والبروتوكول يسمح بـ50 MB. - الخريطة التي ملفها مضغوط بـ gzip، كما تقول بايتاته الأولى أياً كان اسمه، نفك ضغطها. والملف الذي يبدأ كأنه gzip ولا يُفك ضغطه يفشل: هذا هو الخطأ في الضغط الذي يذكره Search Console.
- لا نفحص العناوين التي تسردها الخريطة، ولا تواريخها.
- إذا تعذّرت قراءة خريطة لسبب غير ردّ الموقع، كأن ينقطع الاتصال، أو يكون العنوان ممّا لا يصل إليه الفحص، أو يطلب robots.txt ألّا يجلبها
ArablyzerBotأو كل الزواحف بمجموعةUser-agent: *، تقول القاعدة إنها لم تستطع الفحص، ولا تفشل. وكذلك إذا ردّ الموقع بما يصدّ الفحص أو يعجز عن الجواب، وهو401و403و407و429وأخطاء الخادم (5xx)، كما يعامل RFC 9309 ملف robots.txt الذي يرد بـ 5xx: لم يقل الموقع إن الخريطة غير موجودة.