«أكتب وأنشر ولا أظهر في Google.» هذه شكوى صاحب موقع نسمعها كثيراً، والرد عليها قبل أي نصيحة محتوى هو الاطمئنان إلى أن الصفحة قابلة للفهرسة أصلاً. لأن الأخطاء التي تمنع الفهرسة كلياً أرخص إصلاحاً من أي تحسين آخر، وأقدر على إخفاء موقع كامل. نمر على سبعة منها بالترتيب الذي نفحصه، ونذكر لكل منها أداة تكشفه ودليل تقرؤه إن ظهرت لك حالته في Search Console.
والفهرسة عملية بمراحل: تكتشف Google العنوان، ثم تزحف إليه، ثم تعرض الصفحة، ثم تقرر أن تفهرسها. وليس كل صفحة تُزحف تُفهرس، وGoogle لا تعد بفهرسة كل ما تعرفه. لكن هذه الأسباب هي ما نستطيع نحن إصلاحه.
الأخطاء التي تمنع الفهرسة كلياً أرخص إصلاحاً من أي تحسين آخر.
1. robots.txt يحجب الزاحف
أشهر الأخطاء: بقي في الموقع بعد الإطلاق ملف robots.txt الذي كُتب لبيئة التجربة:
User-agent: *
Disallow: /سطران يعنيان «لا تزحفي إلى شيء». افحص ملفك بـأداة robots.txt التي تقول إن كان يمنع Googlebot من صفحتك، وهذه قاعدة robots-blocks-googlebot. وحين يظهر لك في Search Console «تم حظر عنوان URL باستخدام ملف robots.txt» فاقرأ دليلها.
وتنبّه إلى خطأ يرتكبه من يريد إخفاء صفحة: منعها في robots.txt لا يزيلها من النتائج، وقد تبقى مفهرسة بعنوانها. وقد يحجب أيضاً Google عن رؤية وسم noindex في الصفحة، لأنها لا تستطيع قراءتها.
2. noindex منسي
وسم noindex يقول لـ Google «اقرئي ولا تفهرسي». مكانه إما وسم meta في الصفحة:
<meta name="robots" content="noindex">وإما ترويسة X-Robots-Tag: noindex يرسلها الخادم، وهذه لا تراها في المصدر ولا تنتبه لها في المتصفح. وكثيراً ما يأتي الوسم من إعداد في لوحة المنصة «إخفاء الموقع عن محركات البحث» نسيه صاحبه بعد الإطلاق، أو من إضافة. أداة إمكانية الفهرسة تنظر إلى الوسم والترويسة وrobots.txt معاً، وقاعدتها page-noindex. وحالة Search Console تشرحها هذه الصفحة.
3. النص يكتبه السكربت ولا يرسله الخادم
الصفحة تصل شبه فارغة، ثم يملأها السكربت. Google تشغّل السكربتات، لكن على مراحل: زحف ثم عرض ثم فهرسة، وقد تنتظر الصفحة في طابور العرض وقتاً أطول من ثوانٍ قليلة. وليست كل زواحف البحث والذكاء الاصطناعي تشغّلها. والحل أن يرسل الخادم نص الصفحة في HTML، بالتصيير على الخادم أو التوليد المسبق، وتترك السكربت لما يحتاجه التفاعل.
فاحص عرض جافاسكربت يقارن كلمات الصفحة العربية المرسومة في المتصفح بكلمات HTML المُرسَل، ويفشل js-only-content إن غابت أكثر من نصفها. تحقق سريعاً: «عرض مصدر الصفحة» وابحث عن جملة من نصك.
4. canonical متضارب
الوسم canonical يقول أي عنوان هو الأصل حين تؤدي عناوين كثيرة إلى الصفحة نفسها. المشكلة حين تعطي الصفحة اثنين مختلفين، كأن يضيفه القالب وتضيفه إضافة السيو، فتتجاهل Google الاثنين وتختار بنفسها، وقد تختار نسخة لا تريدها. افحصه بـفاحص canonical (canonical-conflict). واحتفظ بمصدر واحد وعنوان كامل داخل head.
5. صفحة تقول «غير موجودة» وتردّ بنجاح
صفحة قسم فارغة، أو نتيجة بحث داخلي بلا نتائج، تعرض للزائر «لا توجد منتجات» وتردّ برمز 200. تراها Google «Soft 404» وتتجاهلها. العلاج بحسب الحالة: ردّ 404 أو 410 للصفحة المحذوفة نهائياً، وحوّلها إلى ما يحلّ محلها إن وُجد، وامنع فهرسة صفحات البحث الداخلي. اقرأ دليل Soft 404.
وعن عبارتي «تم الزحف، ولم تتم الفهرسة» و«تم الاكتشاف، ولم تتم الفهرسة»: الأولى تعني أن Google زارت الصفحة ولم تفهرسها حتى الآن، وليس لها علاج تقني واحد؛ ابدأ بأن تجعل الصفحة أنفع وأوضح مما يشبهها (دليلها). والثانية أن Google عرفت العنوان ولم تزحف إليه بعد، وهي غالباً مسألة روابط داخلية وخريطة موقع وطاقة زحف (دليلها).
6. تحويلات متسلسلة أو مؤقتة
كل تحويل طلب وجواب إضافيان قبل أن تبدأ الصفحة، والعناوين التي تحوّل إلى غيرها لا تُفهرس هي. تنصح Google أن تُحوَّل العناوين القديمة مباشرة إلى النهائي، أو تبقى السلسلة قصيرة جداً. وزاحف Google يتبع حتى عشرة تحويلات في سلسلة. ويؤدي HTTP ثم www ثم مسار اللغة إلى ثلاث محطات من حيث لا تنتبه. فاحص سلسلة التحويلات يعدّ المحطات ويقول إن كانت دائمة (redirect-chain). وعن حالتها في Search Console اقرأ دليل الصفحة ذات التحويل.
7. خريطة الموقع وروابطه
خريطة الموقع تخبر Google بصفحاتك، ويعطبها ملف غير موجود أو غير صالح XML أو يسرد عناوين تُحوَّل أو تُحظر. فاحص الخريطة يقرأها (sitemap-missing وsitemap-invalid). والخريطة لا تفرض الفهرسة، وتساعد على الاكتشاف. وتساعد الروابط الداخلية أكثر: صفحة لا يصل إليها رابط من صفحة أخرى يصعب اكتشافها. فاحص الروابط المكسورة يرى الروابط الداخلية التي تردّ بخطأ.
وللمواقع العربية نقطة تخصها: عنوان صفحتك قد يحمل حروفاً عربية في المسار، وهذا صحيح. المتصفح يعرض الحروف ويرسلها مرمّزة (%D9%85...) في الطلب. المشكلة حين تكتب الصفحة عنوانها بصيغة، وخريطة الموقع بأخرى، وcanonical بثالثة، فتظهر الصفحة كأنها ثلاث نسخ. اختر صيغة واحدة وثبّتها في الروابط الداخلية والخريطة والـcanonical وhreflang.
أين تنظر في Search Console
أداتان تكفيان للبداية. تقرير الصفحات يقسم عناوين موقعك بين مفهرسة وغير مفهرسة، ويذكر لكل مجموعة غير مفهرسة سببها بالعبارات التي رأيتها أعلاه. ابدأ من أكبر مجموعة لا من أغربها. وفحص العنوان (URL Inspection) يأخذ عنواناً واحداً ويقول إن كان مفهرساً، وأي canonical اخترته أنت وأيهما اختارته Google، وهل الصفحة قابلة للفهرسة، ويتيح اختبار العنوان مباشرة ورؤية HTML الذي قرأته Google والصورة التي عرضتها. هنا تكتشف فرق ما يراه متصفحك عما تراه Google، وهو أصل مشكلة النص الذي يكتبه السكربت.
وبعد أن تصلح، يمكنك أن تطلب إعادة الفهرسة للعناوين المهمة من الأداة نفسها. الطلب لا يضمن شيئاً ولا يعجّل في المعتاد أكثر من أيام، وتكراره لنفس العنوان لا يفيد. الأهم أن يكون الإصلاح فعلاً قد وصل إلى الخادم: كثيراً ما يظن صاحب الموقع أنه أزال noindex وهو ما زال في ذاكرة مؤقتة أو في ترويسة لم تُحذف.
أسئلة تتكرر
كم أنتظر بعد الإصلاح؟
لا وقت محدد تعد به Google. الصفحات المهمة التي تُزحف كثيراً تتغير حالتها أسرع من الصفحات العميقة. افحص بعد أيام لا بعد ساعات، وإن بقي السبب نفسه فالإصلاح لم يصل.
هل أحذف الصفحات الضعيفة؟
قبل ذلك اسأل إن كانت تخدم زائراً. صفحة لا تنفع أحداً وتتكرر آلافاً، مثل صفحات التصفية والبحث الداخلي، تستحق noindex أو حذفاً. أما الصفحة التي تنفع وتحتاج تحسيناً فحسّنها بدل أن تخفيها.
ترتيب الفحص
الترتيب الذي نفحص به مهم لأن كل خطوة تسبق ما بعدها:
- هل يدخل الزاحف؟ (
robots.txtوالحماية) - هل يُسمح بالفهرسة؟ (
noindex) - هل النص في HTML؟
- هل العنوان واحد والأصل واحد؟ (canonical والتحويلات)
- هل الصفحة تستحق؟ (Soft 404 والمحتوى)
- هل الاكتشاف سهل؟ (الخريطة والروابط)
وإذا كان مظهر موقعك في نتائج البحث بلغتين فراجع كذلك مقال hreflang، وإن كان متجرك على منصة جاهزة فابدأ من أخطاء سلة وزد.