انتقل إلى المحتوى

خريطة موقع لا تستطيع محركات البحث قراءتها

sitemap-invalidمتوسط
في هذه الصفحة

لماذا يهم

  • تقرأ محركات البحث خريطة الموقع لتجد صفحاته. وإذا تعذّر على Google جلب الخريطة أو تحليلها، يعيد المحاولة بضعة أيام ثم يتوقف، وإذا جلبها وفيها أخطاء، لا يضيف إلى لائحة الزحف إلا العناوين التي حلّلها دون أخطاء.
  • يجب أن يعطي سطر Sitemap: في robots.txt عنواناً كاملاً، بما فيه البروتوكول والمضيف، كما تقول مواصفات Google لملف robots.txt، والمسار وحده، مثل /sitemap.xml، ليس عنواناً كاملاً.
  • يقرأ Google خرائط الموقع بلغة XML التي يحددها البروتوكول، وخلاصات RSS 2.0 وAtom 1.0، والملفات النصية التي فيها عنوان في كل سطر. والعنصر الجذر في خريطة XML هو urlset، وفي فهرس الخرائط sitemapindex، وكلاهما في مساحة الاسم http://www.sitemaps.org/schemas/sitemap/0.9 مكتوبةً كما هي تماماً، وSearch Console يعدّ غيرها مساحة اسم غير صحيحة.
  • وكما في كل ملفات XML، يجب ترميز أحرف مثل & في العناوين. ويقول Google إن حرفاً غير مرمَّز في عنوان URL هو غالباً ما يمنعه من تحليل الخريطة.
  • ويجوز ضغط خريطة الموقع بـ gzip، في ملف مثل sitemap.xml.gz، ويجب حينئذ أن يُفك ضغطها كاملةً. ويعدّ Search Console الخريطة التي لا يُفك ضغطها خطأ في الضغط.

مثال

خطأ
User-agent: *
Disallow: /cart/

Sitemap: /sitemap.xml
صحيح
User-agent: *
Disallow: /cart/

Sitemap: https://shop.example/sitemap.xml

كيف تُصلح

  • أعطِ كل سطر Sitemap: في robots.txt العنوان الكامل للخريطة:
text
Sitemap: https://www.example.com/sitemap.xml
  • افتح ذلك العنوان بنفسك: يجب أن يرد بالخريطة، لا بخطأ ولا بصفحة HTML. وإن لم يفعل، فصحّح العنوان في robots.txt، أو ضع الخريطة فيه.
  • ابدأ خريطة XML بالعنصر الجذر ومساحة الاسم اللذين يحددهما البروتوكول، واكتب كل & في العناوين &:
xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.example.com/ar/offers?page=2&amp;sort=new</loc>
  </url>
</urlset>
  • والأحرف الأخرى التي ترمّزها XML هي ' وتُكتب &apos;، و" وتُكتب &quot;، و> وتُكتب &gt;، و< وتُكتب &lt;.
  • وفي خريطة الموقع النصية عنوان كامل في كل سطر، ولا شيء غيره.
  • اضغط الخريطة كاملةً باسم sitemap.xml.gz، وقدّم ذلك الملف كما هو. فإن لم يعد لك gunzip sitemap.xml.gz الخريطة على جهازك أنت، فلن يعيدها لمحرك بحث: اكتبها من جديد.

كيف نكشف

  1. نقرأ كل سطر Sitemap: في robots.txt، وتفشل القاعدة فوراً إذا لم تكن قيمته عنواناً كاملاً يبدأ بـ https:// أو http://.
  2. نجلب باسم ArablyzerBot أول 3 خرائط يسمّيها robots.txt بعناوين كاملة، أو /sitemap.xml إن لم يسمِّ شيئاً، ونتبع التحويلات. ونقرأ من كل خريطة حتى 25 MB، ونفك ضغط الملف المضغوط بـ gzip، ولا ننتظر الشبكة أكثر من 10 ثوانٍ للخرائط كلها. ولا نجلب الخرائط التي يسردها فهرس الخرائط، ولا ما يسمّيه robots.txt بعدها.
  3. تفشل الخريطة التي يسمّيها robots.txt إذا ردّت بحالة خطأ، مثل 404 أو 410، أو بصفحة HTML. أما إن لم يسمِّ robots.txt شيئاً، فالخطأ أو صفحة HTML في /sitemap.xml يعني أن لا خريطة هناك، وهذا ما تذكره قاعدة sitemap-missing، والخريطة الموجودة هناك نفحصها كغيرها.
  4. يجب أن يكون ملف XML سليم البنية، لا كيانات فيه إلا كيانات XML نفسها، وله عنصر جذر واحد، وأن يكون جذره urlset أو sitemapindex في مساحة اسم البروتوكول، أو خلاصة RSS 2.0 أو Atom 1.0. ونقبل علامة ترتيب البايتات والمسافات البيضاء قبل بداية XML، كما يقبلها Search Console. وتتوقف قراءة الملف ويفشل عند عناصر متداخلة في أكثر من 32 مستوى، أو عنصر فيه أكثر من 256 سمة، أو اسم أو قيمة أو تعليق أطول بكثير مما تحتاجه خريطة: لا شيء من هذا في خريطة موقع. وما ليس XML نقرؤه خريطةً نصية: يجب أن يكون كل سطر غير فارغ فيها عنواناً كاملاً.
  5. وتفشل أيضاً خريطة urlset أو sitemapindex أو الخريطة النصية التي لا تسرد شيئاً. والخريطة التي تتجاوز 25 MB نفحص أول 25 MB منها، والبروتوكول يسمح بـ 50 MB.
  6. الخريطة التي ملفها مضغوط بـ gzip، كما تقول بايتاته الأولى أياً كان اسمه، نفك ضغطها. والملف الذي يبدأ كأنه gzip ولا يُفك ضغطه يفشل: هذا هو الخطأ في الضغط الذي يذكره Search Console.
  7. لا نفحص العناوين التي تسردها الخريطة، ولا تواريخها.
  8. إذا تعذّرت قراءة خريطة لسبب غير ردّ الموقع، كأن ينقطع الاتصال، أو يكون العنوان ممّا لا يصل إليه الفحص، أو يطلب robots.txt ألّا يجلبها ArablyzerBot أو كل الزواحف بمجموعة User-agent: *، تقول القاعدة إنها لم تستطع الفحص، ولا تفشل. وكذلك إذا ردّ الموقع بما يصدّ الفحص أو يعجز عن الجواب، وهو 401 و403 و407 و429 وأخطاء الخادم (5xx)، كما يعامل RFC 9309 ملف robots.txt الذي يرد بـ 5xx: لم يقل الموقع إن الخريطة غير موجودة.