لماذا يهم
- تستطيع خدمات حماية المواقع من البوتات، مثل Cloudflare وAWS WAF، أن ترد على الطلب بصفحة تحدٍّ بدل الصفحة المطلوبة. ويقول توثيق Cloudflare إن الزائر لا يصل إلى الصفحة دون أن يجتاز التحدي، الذي يشغّل JavaScript في متصفح الزائر وقد يطلب منه أن يحدد مربعاً أو يضغط زراً، وتحدي AWS WAF واختبار CAPTCHA فيه سكربتان كذلك.
- وقد ردّ الموقع على بوتنا بتحدٍّ، فالزاحف الذي لا يستطيع اجتياز التحدي يجده مكان محتواك. أما هل يواجه زاحف البحث بالذكاء الاصطناعي التحدي أيضاً فيتوقف على القواعد التي تقرر: قد تسمح له، وقد ترفضه كما رفضتنا.
- وحماية الموقع من البوتات قرار صائب في أحيان كثيرة، فهذه معلومة لا مخالفة: تأكد فقط من أن الزواحف التي تريدها تصل إلى صفحاتك.
كيف تُصلح
- حدّد البوتات التي تريد أن تصل إلى صفحاتك، مثل زواحف محركات البحث وخدمات البحث بالذكاء الاصطناعي، ودعها تمر من القواعد التي ترد بالتحدي.
- في Cloudflare، قاعدة مخصصة (custom rule) تضعها أولاً، بالتعبير
(cf.client.bot)والإجراء Skip، تجعل البوتات الموثّقة، مثل زواحف محركات البحث، تتجاوز قواعدك المخصصة الأخرى. أما Bot Fight Mode في الخطة المجانية فلا يُتجاوز بهذه الطريقة: أوقفه، أو انتقل إلى Super Bot Fight Mode في خطة Pro وما فوقها. - في AWS WAF، يأتي التحدي من قاعدة إجراؤها CAPTCHA أو Challenge: ضيّق ما تطابقه تلك القاعدة.
- لا يحاول Arablyzer تجاوز أي تحدٍّ، فلم تعمل فحوص محتوى هذه الصفحة.
كيف نكشف
- نجلب الصفحة باسم
ArablyzerBotونقرأ ترويسات ردّها، أياً كانت حالته. - لا نعرف التحدي إلا بالعلامات التي توثّقها خدمته: الترويسة
cf-mitigated: challengeمن Cloudflare، التي يضعها على كل أنواع صفحات التحدي، والترويسةx-amzn-waf-actionمن AWS WAF، بالقيمةchallengeمع الحالة202أوcaptchaمع الحالة405. - لا نخمّن شيئاً من نص الصفحة، ولا نعدّ الرفض المجرد، مثل
403دون هذه الترويسات، تحدياً، ولا نكشف تحديات الخدمات الأخرى. - إذا كان الرد تحدياً، فلا يعدّه أي فحص آخر هو الصفحة: يقول التقرير إن الموقع ردّ بتحدٍّ، ولا نعرض الصفحة في المتصفح ولا نقيسها، لأن تشغيل سكربت التحدي قد يجتازه. وإذا وصل طلبنا نحن إلى الصفحة وردّ الموقع على متصفح بتحدٍّ، يتوقف عرض ذلك المتصفح عند الرد، ولا نطلب من الموقع شيئاً بعده، ولا يعمل Lighthouse.
- هذه معلومة، فلا تخصم القاعدة نفسها شيئاً. لكن الصفحة التي يرد عليها الموقع بتحدٍّ لم تُفحص، فلا درجة للفحص، لا عامة ولا لفئة، ويكون الفحص جزئياً.
المراجع
- Cloudflare: كشف رد صفحة التحدي (بالإنجليزية)
- Cloudflare: صفحات التحدي الاعتراضية (بالإنجليزية)
- Cloudflare: إيقاف البوتات الضارة (بالإنجليزية)
- AWS WAF: سلوك إجراءَي CAPTCHA وChallenge (بالإنجليزية)