انتقل إلى المحتوى

ArablyzerBot، بوت Arablyzer

البرنامج الذي يجلب صفحتك حين يطلب أحد فحصها: ما يفعله، وما لا يفعله أبداً، وكيف تمنعه.

في هذه الصفحة

كيف تعرفه

كل طلب يرسله خارج المتصفح يحمل هذا الـ User-Agent:

ArablyzerBot/1.0 (+https://arablyzer.com/bot)

وحين يعرض الصفحة في المتصفحات، يُبقي كل متصفح الـ User-Agent الخاص به ويضيف إليه هذه العلامة في آخره:

… ArablyzerBot/1.0 (+https://arablyzer.com/bot)

متى يزور موقعك

  • حين يطلب أحد فحص صفحة من موقعك، في صفحة إحدى الأدوات أو في الفحص الكامل. لا يزور موقعك من تلقاء نفسه، ولا يتبع الروابط إلى صفحات أخرى.
  • يفحص الصفحة التي طُلبت وحدها: إن كانت تحوّل إلى صفحة أخرى تبعها، ولا يفتح صفحة غيرها.

ماذا يجلب

  1. ملف robots.txt أولاً، ليعرف هل تمنعه، ويتبع 5 تحويلات على الأكثر ويقرأ أول 500 كيلوبايت منه.
  2. الصفحة نفسها، ويتبع 10 تحويلات على الأكثر.
  3. حين يحتاج الفحص إلى سجلات البريد: سؤالان عن سجلات TXT، أحدهما لنطاق الصفحة والآخر للاسم _dmarc عليه، بأسلوب DNS عبر HTTPS إلى محلِّل Cloudflare (https://cloudflare-dns.com/dns-query) أو إلى المحلِّل الذي ضُبطت عليه الخدمة، عبر بروكسي الخروج نفسه. فيصل اسم النطاق إلى ذلك المحلِّل، ولا شيء آخر من الصفحة.
  4. حين يحتاج الفحص إلى روابط الصفحة، وهذا في فحص الروابط المعطّلة: طلب HEAD لكل رابط من أول 50 رابطاً في الصفحة إلى موقعك نفسه، وطلب GET إن ردّ بخطأ أو تعذّر الاتصال، دون أن يتبع تحويلاً أو يقرأ محتوى، ودون المسارات التي يمنعها ملف robots.txt عن ArablyzerBot أو عن كل زاحف بالمجموعة User-agent: *. وبعد أول رد بالحالة 429 لا يطلب رابطاً آخر.
  5. حين يحتاج الفحص إلى خرائط الموقع: أول 3 خرائط يسمّيها robots.txt، أو /sitemap.xml إن لم يسمِّ شيئاً، ويقرأ أول 25 ميغابايت من كل منها ويتبع 10 تحويلات على الأكثر، ولا يفتح الخرائط التي يسردها فهرس خرائط الموقع. ولا ينتظر الشبكة أكثر من 10 ثوانٍ للخرائط كلها.
  6. قد يكون في robots.txt عنوان خريطة على موقع آخر: يقرأ ArablyzerBot ملف robots.txt لذلك الموقع أولاً، ولا يجلب منه ما يطلب ألّا يجلبه ArablyzerBot أو كل الزواحف بمجموعة User-agent: *، ولا يتبع تحويلاً إلى موقع آخر إلا حيث يسمح robots.txt فيه.
  7. حين يحتاج الفحص إلى عرض الصفحة: يفتحها في Chromium وFirefox وWebKit بنافذة جوال عرضها 390 وارتفاعها 844، فيحمّل كل متصفح ما تحمّله الصفحة لزائرها من ملفات CSS وخطوط وصور وسكربتات، بـ 300 طلب و25 ميغابايت على الأكثر في كل متصفح، ومن 50 مضيفاً مختلفاً على الأكثر.
  8. تمرّ كل طلباته عبر بروكسي خروج واحد يرفض العناوين الخاصة والمحلية.

ما لا يفعله أبداً

  • لا يرسل أي نموذج، ولا يكتب في الحقول، ولا يضغط الأزرار.
  • لا يرسل ما تطلب صفحتك أن يرسله: يرفض متصفحه كل طلب غير GET وHEAD، وكل WebSocket، أياً كانت وجهته، فلا يخرج من الفحص نموذج ولا sendBeacon ولا طلب POST تصدره صفحتك، حتى إلى موقعك نفسه. وأداة الإحصاء التي تُبلغ عن الزيارة بـ POST أو بـ sendBeacon لا تُبلغ عن هذه الزيارة.
  • لا يسجّل الدخول إلى أي حساب.
  • لا يتجاوز CAPTCHA ولا أي حماية من البوتات: إن ردّ موقعك بتحدٍّ، يقول التقرير إن الموقع منع الفحص، وإن ردّ به على متصفح وحده، يتوقف عرض ذلك المتصفح عندئذ.

كيف تمنعه

أضف إلى ملف robots.txt في موقعك مجموعة تسمّيه، فلا يُفحص أي رابط في موقعك:

User-agent: ArablyzerBot
Disallow: /

أو امنع ما تريد منعه وحده، والباقي يبقى متاحاً للفحص:

User-agent: ArablyzerBot
Disallow: /account/
Disallow: /checkout/
  • يقرأ ArablyzerBot ملف robots.txt في بداية كل فحص، فيسري المنع من الفحص التالي.
  • إن منعت الصفحة، يتوقف الفحص قبل أن يجلبها، ويقول التقرير إن الموقع طلب ألا يُفحص.
  • إن حوّلت الصفحة إلى موقع آخر، يقرأ robots.txt ذلك الموقع أيضاً قبل أن يكمل.
  • مجموعة User-agent: * وحدها لا تمنع الفحص الذي يطلبه شخص: هو زيارة صفحة واحدة، لا زحف على موقعك. أما الطلبات إلى روابط الصفحة، وهي ليست تلك الزيارة، فتسري عليها هذه المجموعة أيضاً: لا يطلب الفحص مساراً تمنعه.
  • إن تعذّرت قراءة robots.txt، كأن يرد بخطأ من الخادم، يكمل الفحص.