لماذا يهم
- للعربية عدة طرق صحيحة لكتابة الكلمة الواحدة، والناس يكتبون كل واحدة منها: ة أو ه في آخر الكلمة، وأ وإ وآ أو ا مجردة، وى أو ي، بالتشكيل وبدونه، وبالأرقام العربية الهندية أو اللاتينية. ولوحة مفاتيح الهاتف تجعل بعض هذا خطأً يوميًا.
- البحث الذي يعدّ كل إملاء كلمة مختلفة يعرض «لا نتائج» لزائر كتب الكلمة صحيحة، وكثيرون يغادرون. ولا أداة SEO عالمية تقيس هذا.
- المحتوى موجود. والبحث وحده هو الذي لا يجده.
كيف تُصلح
وحّد صيغة النص قبل أن يدخل فهرس البحث، وصيغة الاستعلام قبل مطابقته، بالدالة نفسها. الحروف التي تُوحَّد:
- أ إ آ ٱ ← ا
- ى ← ي
- ة ← ه (أو العكس: اختر واحدًا، للنص وللاستعلام معًا)
- حذف التطويل (ـ) والتشكيل (من U+064B إلى U+065F، وU+0670)
- الأرقام العربية الهندية (
٠إلى٩) والفارسية (۰إلى۹) ← 0 إلى 9
js
const normalize = (text) =>
text
.replace(/[ً-ٰٟـ]/g, '')
.replace(/[أإآٱ]/g, 'ا')
.replace(/ى/g, 'ي')
.replace(/ة/g, 'ه')
.replace(/[٠-٩]/g, (d) => String('٠١٢٣٤٥٦٧٨٩'.indexOf(d)))
.replace(/[۰-۹]/g, (d) => String('۰۱۲۳۴۵۶۷۸۹'.indexOf(d)))- في Elasticsearch وOpenSearch: محلِّلا
arabic_normalizationوarabic؛ وMeilisearch وTypesense يوحّدان أكثر هذا افتراضيًا؛ وفي MySQL أو PostgreSQL احفظ عمودًا موحَّدًا وابحث فيه. - في ووردبريس: إضافات بحث فيها توحيد عربي (مثل SearchWP، أو بحث مستضاف بمحلِّل عربي) تحلّ محل البحث الافتراضي بـ
LIKEفي العنوان والمحتوى.
كيف نكشف
- نجد بحث الموقع: نموذج
GETمعلَّم بحثًا (أو فيهinput[type=search]) في موقع الصفحة نفسه، وإلا عنوان بحث المنصة نفسها إن كانت الصفحة تعمل على منصة نعرفها (ووردبريس وShopify وسلة وزد). - نقرأ robots.txt في الموقع: فإن منع
ArablyzerBotمن صفحات البحث لم نسأل شيئًا وقلنا ذلك. - نسأل استعلامًا لا معنى له لنعرف الروابط التي في كل جواب (القائمة والتذييل والشريط الجانبي)، ثم حتى 4 كلمات حقيقية من الصفحة، ولكل منها تنويعاتها: ة وه، وهمزة الألف، وى وي، والتطويل، والحركة، وأرقام الكتابة الأخرى، وإملاء واحد بالأحرف اللاتينية (عربيزي) يُعرض ولا يُحسب. لا أكثر من 12 طلبًا في المجموع، واحدًا واحدًا بينها مهلة، باسم ArablyzerBot.
- لكل استعلام نعدّ الروابط في الجواب عدا تلك القائمة والتذييل، وأولها. يضيع التنويع حين لا يجد شيئًا، أو يجد أقل من نصف ما وجده إملاء الكلمة نفسها. ولا نحكم إلا على كلمات وجد إملاؤها شيئًا.
- العدد هو ما تعرضه الصفحة الأولى من الجواب، فهو حدٌّ أدنى لا عدد النتائج كلها.
المراجع
- Unicode: كتلة الحروف العربية
- Elasticsearch: مرشح arabic_normalization (بالإنجليزية)
- Meilisearch: اللغات، العربية (بالإنجليزية)