التعريف
- Googlebot اسم عام لنوعين من زواحف بحث Google: Googlebot للهواتف الذكية وGooglebot للكمبيوتر المكتبي. وكلاهما يتبع الاسم نفسه في robots.txt، وهو
Googlebot، فلا تستطيع أن تخص أحدهما بقاعدة. - يفهرس Google نسخة الجوال في معظم المواقع، فأغلب الطلبات من زاحف الهاتف. ولبحث Google يقرأ Googlebot أول 2 ميغابايت من الملف غير مضغوط، وأول 64 ميغابايت من ملف PDF، ولا يُفهرس ما بعدها.
لماذا يهم
- منع Googlebot يؤثر في بحث Google كله، ومنه Discover، وفي منتجات أخرى مثل صور Google وأخبار Google.
- كثيراً ما تنتحل زواحف أخرى اسم Googlebot في ترويسة
user-agent، فتحقّق من الطلب قبل أن تحظره أو تستثنيه: ببحث DNS عكسي على عنوان IP، أو بمطابقته مع نطاقات العناوين التي ينشرها Google. - يزحف Google في الغالب من عناوين IP في الولايات المتحدة، فجدار الحماية أو CDN الذي يحجب الزيارات من خارج بلدك قد يحجب Googlebot أيضاً. وإن رأى Google ذلك فقد يحاول الزحف من بلدان أخرى.
مثال
التحقق من أن طلباً في سجلات الخادم جاء من Googlebot، بالمثال الذي يعرضه Google:
text
$ host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
$ host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1الاسم في نطاق googlebot.com، والبحث عنه يعيد العنوان نفسه، فالطلب من Google. وإن فشل أحد الفحصين فالطلب ليس منه، أياً كان الاسم في ترويسته.
أخطاء شائعة
- الوثوق بترويسة
user-agentوحدها، وهي سهلة الانتحال. - كتابة
crawl-delayلإبطاء Googlebot: لا يدعمها Google. وفي حالة طارئة يقترح Google الرد بالرمز500أو503أو429، لكن لساعات أو ليوم أو يومين فقط، وإلا فقد تسقط الروابط من الفهرس. - نسخة جوال فيها محتوى أو روابط أقل من نسخة الحاسوب: يفهرس Google نسخة الجوال في معظم المواقع.