التعريف
- الزحف أول مراحل بحث Google: برامج آلية تسمّى الزواحف (crawlers)، واسم زاحف Google هو Googlebot، تنزّل النصوص والصور والفيديوهات من الصفحات التي وجدتها على الويب.
- يجد Google الروابط في الصفحات التي يعرفها وفي خرائط الموقع التي ترسلها، ثم يعرض كل صفحة (rendering) ويشغّل ما فيها من JavaScript بإصدار حديث من Chrome.
لماذا يهم
- لا يستطيع Google أن يفهرس محتوى صفحة لم يزحف إليها. وأشهر ما يعطّل الزحف مشكلات الخادم، ومشكلات الشبكة، وقواعد robots.txt.
- الزحف ليس فهرسة: قد تبقى صفحة زحف إليها Google خارج الفهرس، وقد يُفهرس رابط منعته من الزحف إن أشارت إليه صفحات أخرى.
- في المواقع العربية والإنجليزية، يوصي Google بأن يكون لكل نسخة لغة رابطها، وأن يصل بين النسختين رابط ظاهر، لا أن تتغير لغة الرابط نفسه بملفات تعريف الارتباط (cookies) أو بإعدادات المتصفح.
مثال
صفحة منتج جديدة يصل إليها Googlebot من صفحة القسم:
html
<!-- في https://example.com/ar/oud/ رابط إلى /ar/عود-كمبودي بعد ترميزه -->
<a href="/ar/%D8%B9%D9%88%D8%AF-%D9%83%D9%85%D8%A8%D9%88%D8%AF%D9%8A">عود كمبودي</a>يجد Googlebot الرابط في href، ويقرأ robots.txt، ثم يجلب الصفحة ويعرضها، ويضيف إلى قائمة الزحف ما يجده فيها من روابط.
أخطاء شائعة
- روابط بلا
href، كزر يفتح الصفحة بحدثonclickوحده: قد لا يستخرج Google منها رابطاً. - أحرف عربية بلا ترميز في
href: يوصي Google بترميز الأحرف غير اللاتينية ترميزاً مئوياً (percent-encoding). - تحويل الزائر حسب عنوان IP أو لغة المتصفح: يزحف Googlebot في الغالب من الولايات المتحدة، دون ترويسة
Accept-Language، فقد لا يرى إلا نسخة واحدة.
المراجع
- Google Search Central: دليل مفصّل حول طريقة عمل بحث Google
- Google Search Central: فهم أساسيات JavaScript في تحسين محركات البحث
- Google Search Central: أفضل الممارسات المتعلقة بالروابط
- Google Search Central: أفضل الممارسات المتعلقة ببنية عناوين URL
- Google Search Central: إدارة المواقع المتعددة المناطق واللغات
- Google Search Central: معلومات عن ملف robots.txt