انتقل إلى المحتوى

منهجية Arablyzer

كيف يفحص Arablyzer صفحة، وكيف يحسب درجتها، وما حدود كل مصدر يعتمد عليه.

في هذه الصفحة

ماذا يفعل الفحص

  1. يقرأ ملف robots.txt أولاً، ولا يطلب أبداً صفحة تمنعها مجموعة تسمّي ArablyzerBot: يتوقف الفحص، ويقول التقرير ذلك مع القاعدة ورقم سطرها. وقبل أن يتبع تحويلاً إلى موقع آخر، يقرأ ملف robots.txt لذلك الموقع أيضاً. ومجموعة User-agent: * وحدها لا توقف الفحص، لأن الفحص الذي يطلبه شخص زيارة لا زحف، والملف الذي تتعذّر قراءته لا يوقفه. ويقرأ كل فحص الملف من جديد.
  2. يجلب الصفحة عبر بروكسي خروج واحد يرفض العناوين الخاصة وعناوين الخادم نفسه، ويتبع التحويلات حتى عشرة.
  3. يقرأ HTML الصفحة كما وصل، قبل أي سكربت: العنوان والوصف واللغة والاتجاه والروابط والبيانات المنظّمة والنماذج.
  4. يسأل DNS عن سجلات البريد حين تحتاجها قواعده: سجلات TXT لنطاق الصفحة التنظيمي، ولاسم _dmarc عليه، ولا شيء غيرها، في عشر ثوانٍ على الأكثر. وفي الخدمة المستضافة يذهب السؤالان بأسلوب DNS عبر HTTPS (المعيار RFC 8484) إلى محلِّل Cloudflare (https://cloudflare-dns.com/dns-query)، أو إلى المحلِّل الذي ضُبطت عليه الخدمة، عبر بروكسي الخروج نفسه الذي تمر به بقية طلباتها، فيصل اسم النطاق إلى ذلك المحلِّل ولا شيء آخر من الصفحة. أما الفحص الذي يجري على جهاز بلا بروكسي خروج، كأداة سطر الأوامر، فيسأل خوادم DNS في ذلك الجهاز. وإن لم تكن للفحص طريقة لسؤال DNS ترك القواعد التي تقرؤه، وقال التقرير ذلك.
  5. يطلب روابط الصفحة إلى موقعها حين تحتاجها قاعدة الروابط المعطّلة: لا يعدّ أكثر من 1,000 رابط في الصفحة، ويطلب أول 50 رابطاً إلى أصل الصفحة نفسه، أربعة معاً في 20 ثانية على الأكثر وكل طلب في 10 ثوانٍ على الأكثر، لا يمنعها robots.txt عن ArablyzerBot بمجموعة تسمّيه أو بمجموعة User-agent: *، فروابط الصفحة ليست الزيارة التي طلبها شخص، كل رابط بطلب HEAD، ثم GET إن ردّ بخطأ أو تعذّر الاتصال، عبر بروكسي الخروج نفسه، دون أن يتبع تحويلاً أو يقرأ محتوى.
  6. يعرض الصفحة في المتصفحات إذا طُلب ذلك: Chromium وFirefox، وWebKit في الخوادم ذات الشبكة المعزولة. في كل محرّك يقيس النص العربي والاتجاه والخطوط وحقول النماذج، ويشغّل مجموعة مختارة من قواعد axe-core للوصولية، ويقرأ ملفات CSS والخطوط التي حمّلها المتصفح. ولا يرسل أي متصفح شيئاً تطلب الصفحة إرساله: يرفض كل طلب غير GET وHEAD أياً كانت وجهته، ويغلق كل WebSocket قبل أن يُفتح، فلا يخرج نموذج ولا sendBeacon ولا طلب POST؛ ولا يتصل بأكثر من 50 مضيفاً مختلفاً؛ ويذكر التقرير ما رُفض.
  7. يشغّل القواعد: كل قاعدة دالة ثابتة تقرأ ما جُمع ولا تجلب شيئاً، فالصفحة نفسها تعطي النتيجة نفسها في كل مرة.

نتيجة كل قاعدة

الحالةالمعنى
نجحتفي الصفحة ما تفحصه القاعدة، ولم تجد مشكلة
فشلتوجدت مشكلة واحدة على الأقل، ويذكر التقرير مكانها ودليلها
تحتاج مراجعةما وجدته يحتاج نظر إنسان، كنص فوق صورة لا يُقاس تباينه؛ لا تُخصم
لا تنطبقليس في الصفحة ما تفحصه، كقاعدة الصور في صفحة بلا صور
تعذّر تشغيلهالم تكتمل، كأن ينتهي وقت العرض، أو تتعذّر قراءة الملفات التي حمّلتها الصفحة؛ تُخرج من الدرجة وتجعلها جزئية

الدرجة

لكل قاعدة خطورة، ولكل خطورة وزن:

الخطورةالوزن
حرِج10
خطير5
متوسط3
بسيط1
معلومة0

الدرجة = 100 × (1 − مجموع أوزان القواعد الفاشلة ÷ مجموع أوزان القواعد المنطبقة)، مقرّبة إلى أقرب عدد صحيح.

  • المنطبقة هي التي نجحت أو فشلت. التي لا تنطبق، والتي تحتاج مراجعة، والتي تعذّر تشغيلها، لا تدخل الحساب.
  • الدرجة العامة بالصيغة نفسها على كل القواعد، ودرجة كل فئة على قواعدها وحدها، فالفئة ذات القواعد الأثقل تؤثر في الدرجة العامة أكثر. لكل فئة شغّل الفحص قواعدها درجة، أو «بلا درجة» إن لم تنطبق منها قاعدة ذات وزن.
  • الدرجة الجزئية: إذا تعذّر تشغيل قاعدة، يقول التقرير إن الدرجة جزئية، لأنها تحسب ما اكتمل فقط.
  • بلا درجة: إذا لم تنطبق أي قاعدة ذات وزن، كفئة قواعدها كلها معلومات، فلا درجة لها.
  • صفحة لم يصل إليها الفحص: إذا ردّ الموقع بحالة خطأ، مثل 403 أو 404، أو بتحدٍّ للبوتات بدل الصفحة، فلم تُفحص الصفحة نفسها. والقواعد التي تعمل عندئذ تقرأ robots.txt وخرائط الموقع وردّ الخادم، ولا تقول شيئاً عن الصفحة، فلا درجة للفحص، لا عامة ولا لفئة، ويكون الفحص جزئياً.
  • القواعد المحسوبة: يذكر التقرير كم قاعدة شغّلها الفحص من قواعد المجموعة كلها (score.rules). الفحص دون عرض الصفحة في متصفح يترك القواعد التي تقرأ الصفحة المعروضة، والفحص الذي يسمّي قواعده يشغّلها وحدها، فتُحسب درجته على قواعد أقل.
  • المقارنة: الدرجات تُقارن داخل الإصدار الرئيسي نفسه لمجموعة القواعد فقط، ويذكره التقرير (rulesetVersion)، لأن إضافة قاعدة أو تغيير وزن يغيّر الدرجة؛ وبين فحوص شغّلت القواعد نفسها.

مثال لكل وزن

في صفحة نجحت فيها قاعدة حرجة (10) وقاعدة خطيرة (5)، وفشلت قاعدة واحدة:

الخطورة الفاشلةالمنطبقالفاشلالدرجة
حرِج10 + 5 + 10 = 2510100 × (1 − 10 ÷ 25) = 60
خطير10 + 5 + 5 = 205100 × (1 − 5 ÷ 20) = 75
متوسط10 + 5 + 3 = 183100 × (1 − 3 ÷ 18) = 83.3، أي 83
بسيط10 + 5 + 1 = 161100 × (1 − 1 ÷ 16) = 93.75، أي 94
معلومة10 + 5 + 0 = 150100

والأمثلة نفسها اختبارات في packages/scoring، فلا تختلف الصيغة المكتوبة هنا عن المحسوبة.

حدود كل مصدر

  • HTML الصفحة كما وصل: لا يرى ما تضيفه السكربتات بعد التحميل. القواعد التي تحتاجه تقرأ الصفحة المعروضة.
  • المتصفحات: كل محرّك بإصدار ثابت يذكره التقرير، وبنافذة جوال واحدة (390 × 844)، ولغة ومنطقة زمنية ثابتة، وسياسة انتظار واحدة. WebKit على Linux ليس Safari: هو محرّكه نفسه، لكن خطوط النظام وطريقة الرسم تختلف.
  • ما ترسله الصفحات: في عرض الصفحة، كل طلب غير GET وHEAD يُرفض قبل أن يخرج من المتصفح مهما كانت وجهته، حتى إلى موقع الصفحة نفسه، وكل WebSocket يُغلق قبل أن يُفتح. وما لا يراه ما يرفض الطلبات لا يُترك للصفحة: فلا يبدأ فيها عامل ويب (Worker)، لأن اتصالات العامل، وطلبات عامل الخدمة الذي قد يسجّله، لا يمرّ بها ذلك؛ ولا تفتح window.open نافذة، ولا توجد fetchLater؛ ولا يُرسَل نموذج تُرسله الصفحة، فيُكمل المتصفح تحميلها؛ ولا تعمل المعالجات التي تضعها الصفحة لإغلاقها (pagehide وunload)؛ ولا تُرسل تقارير سياسة أمان المحتوى (CSP) التي تسمّي الصفحة عنواناً لها. فالصفحة التي تجلب محتواها بطلب POST، كواجهة GraphQL، أو يبنيه عامل ويب، تُقاس دون هذا المحتوى، والأداة التي تُبلغ عن الزيارة بـ POST أو sendBeacon لا تُبلغ عن هذه الزيارة. أما طلبات GET وHEAD فتخرج كما يخرج طلب رابط أو صورة، وقد يحمل عنوانها بيانات، فلكل متصفح حدٌّ في الطلبات وفي البيانات وفي المضيفين. ويذكر التقرير ما رُفض، في عدد الطلبات المرفوضة وفي ملاحظة.
  • الخطوط: الخطوط الاحتياطية تختلف بين الأجهزة، فما يرسمه خادمنا حين ينقص خط الموقع قد يخالف جهاز الزائر. لذلك تُبنى صورة Docker بخطوط محددة، والتقارير المرجعية تُولَّد داخلها.
  • ملفات CSS والخطوط: لا نقرأ ملفاً إلا إذا عرفنا حجمه قبل قراءته، وضمن حدود ثابتة. Firefox وWebKit يخفيان حجم ملف CSS من موقع آخر، فلا نقرؤه فيهما، والقواعد التي تحتاجه لا تحكم عليه.
  • axe-core: مجموعة مختارة من قواعده، لكل منها نص عربي ونماذج اختبار. ويتجاهل axe تباين النص العربي بسبب خلل فيه، فنصلحه قبل تشغيله.
  • حدود القواعد نفسها: كل حد رقمي في قاعدة، كعدد الأيام قبل انتهاء الشهادة أو حجم التوفير بالضغط، مذكور في صفحة القاعدة مع مصدره.
  • بيانات الزوار الحقيقيين (CrUX): من تقرير تجربة مستخدمي Chrome، بمفتاح API: الشريحة المئوية 75 لكل مقياس على الجوال في آخر 28 يوماً، لرابط الصفحة، أو لموقعها كله حين لا تكون عنده بيانات عنها، ويقول التقرير أيهما. هي زيارات Chrome وحدها، لمن يشاركون إحصاءات الاستخدام ويزامنون سجل التصفح؛ ولا تُحسب زيارات Chrome على iPhone ولا المتصفحات الأخرى. وكثير من المواقع قليلة الزيارات ليس عند CrUX بيانات عنها، فلا تنطبق قواعدها. ويُرسَل رابط الصفحة إلى Google، إلا صفحة على عنوان محلي أو خاص.
  • سجلات DNS: نقرأ سجلات نطاق الصفحة التنظيمي، كما يعرّفه المعيار RFC 7489 من قائمة اللواحق العامة، ولا نقرأ السجلات الخاصة بنطاق فرعي. والموقع الذي تمنحه منصة لعملائها، كـ user.github.io وshop.myshopify.com وsite.vercel.app، لا نسأل عن نطاقه ولا تنطبق عليه القاعدتان، لأن DNS تلك المنطقة للمنصة لا لصاحب الموقع. وسجل DMARC يجب أن يكون فيه وسم p قيمته none أو quarantine أو reject، وإلا فشل. وتُرتَّب سجلات الاسم الواحد ترتيباً ثابتاً قبل أن تقرأها القواعد. والسؤال الذي لا يصل جوابه في الوقت المحدد، أو يرد عليه خادم DNS بخطأ، لا يقول شيئاً عن السجلات، فلا نحكم به.
  • النص الذي تكتبه السكربتات: نقارن الكلمات العربية التي رسمها المتصفح، في أول 200 عنصر ظاهر فيه نص عربي وأول 200 حرف من نص كل منها، بكل نص جسم HTML الذي تلقّاه الفحص، بما فيه المخفي وما داخل <noscript> و<template>. ولا نحكم على متصفح إلا إذا رسم 20 كلمة عربية على الأقل، وهذا العدد اختيارنا لهذه القاعدة. وتفشل الصفحة إذا كان أكثر من نصف الكلمات ليس في HTML. ويطلب الفحص HTML دون لغة يفضّلها، بينما تطلبه المتصفحات بالعربية، فالموقع الذي يختار لغة HTML على الخادم قد يبدو كأن السكربتات تكتب نصه.
  • روابط الصفحة: نطلب الروابط إلى أصل الصفحة وحده، أي البروتوكول والاسم والمنفذ نفسها، وأول 50 منها، ولا نرى ما تضيفه السكربتات. ولا نتبع تحويلاتها. والرابط الذي لا يصل جوابه، أو يرد بإحدى الحالات 401 و403 و407 و429 و503 التي يردّ بها الموقع على زائر يظنه بوتاً، لا نحكم عليه، وبعد أول رد بالحالة 429 لا نطلب رابطاً آخر، ويذكر التقرير عدد ما لم نفحص.
  • Lighthouse: الإصدار 13 في متصفح العرض نفسه (Chromium بلا واجهة من Playwright)، على جوال يحاكيه وبسرعة شبكة ومعالج محسوبة (simulated throttling)، ومقاييسه الخمسة التي تزن درجته. تتغير من تشغيل لآخر، فتظهر معلومةً لا تكون مخالفة ولا تدخل الدرجة أبداً. ولا يعمل Lighthouse إلا في أداة سطر الأوامر، على جهاز من يطلبه بـ --lab، ولا يسري على متصفحه بعدُ رفض الطلبات التي ترسل بيانات المذكور أعلاه.