سألت ChatGPT عن خدمة تقدمها فلم يذكرك، أو ذكر معلومة قديمة عنك، أو لخّص صفحتك تلخيصاً ناقصاً. تستنتج أن «الذكاء الاصطناعي ضعيف في العربية». في أغلب ما نفحصه ليس هذا هو السبب. النماذج الحديثة تقرأ العربية جيداً، لكنها لا تقرأ ما لم يصلها، ولا تقرأ جيداً ما وصلها في شكل يفرّق الكلمة الواحدة إلى كلمتين.
الأسباب التي نراها تقع في أربع طبقات، وكل طبقة تُفحص بشكل مختلف. نبدأ بالأولى لأنها الأخطر: إن لم يدخل الزاحف فلا شيء بعدها يهم.
الطبقة الأولى: هل يدخل الزاحف؟
لمساعدي الذكاء الاصطناعي زواحف بأسماء وأغراض مختلفة. تُسمّى كل شركة زواحفها في ملف robots.txt، وتفرق بين ثلاثة أنواع: زاحف للبحث يجمع صفحات يمكن أن تُستشهد بها في الإجابات (مثل OAI-SearchBot من OpenAI وClaude-SearchBot من Anthropic وPerplexityBot)، وزاحف للتدريب (مثل GPTBot وClaudeBot وGoogle-Extended)، وزاحف يجلب صفحة لأن مستخدماً طلبها (مثل ChatGPT-User). الفرق مهم لأن منع التدريب خيار مشروع، أما منع البحث فمعناه أن صفحتك قد لا تظهر في الإجابات.
تقع المشكلة حين يُمنع زاحف البحث خطأً. قاعدة عامة نسخها أحدهم من قائمة حجب جاهزة، أو Disallow: / عاماً. والحل أن تسمح بزواحف البحث وتمنع التدريب إن شئت، لأن المجموعة التي تسمي الزاحف تتقدم على مجموعة *:
# اسمح للبحث بالاستشهاد بالموقع
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
# امنع استعمال المحتوى في تدريب النماذج
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /وقد يمنع الزاحف شيء غير robots.txt: خدمة حماية تردّ على الطلب بصفحة تحدٍّ بدل صفحتك، فلا يستطيع زاحف لا يحل التحدي أن يصل. حماية الموقع من الروبوتات قرار صحيح غالباً، لذلك نعدّ هذا معلومة لا عطلاً، لكن عليك أن تتأكد أن الزواحف التي تريدها تمر. افحص الاثنين معاً بـأداة وصول الذكاء الاصطناعي، أو افحص ملف robots.txt وحده بـفاحص زواحف الذكاء الاصطناعي. والقاعدتان robots-blocks-ai-search وbot-challenge.
الطبقة الثانية: هل النص في HTML؟
بعض المواقع ترسل صفحة شبه فارغة، ثم يكتب سكربت النص بعد التحميل. قد يرى متصفحك الصفحة كاملة، لكن ليس كل زاحف يشغّل السكربتات. وحتى Google، وهي تشغّلها، تقول إن تقديم الصفحة على الخادم أو تهيئتها مسبقاً فكرة جيدة، لأن المعالجة تمر بمراحل: زحف ثم عرض ثم فهرسة، وقد تنتظر الصفحة في طابور العرض.
نقيس هذا هكذا: نعرض الصفحة في المتصفحات، ونعدّ كلماتها العربية المرئية، ثم نقارنها بكلمات HTML الذي وصل قبل تشغيل أي سكربت. تفشل قاعدة js-only-content إن كان أكثر من نصف الكلمات التي رسمها المتصفح غائباً عن HTML. تحقق بنفسك: افتح «عرض مصدر الصفحة» وابحث عن جملة من نصك. إن لم تجدها فلن يجدها زاحف لا يشغّل السكربتات. فاحص عرض جافاسكربت يفعل هذا بدلاً منك. والعلاج هو التصيير على الخادم أو التوليد المسبق، وكلاهما مدعوم في أطر مثل Next.js وNuxt وSvelteKit وAstro.
الطبقة الثالثة: حروف تبدو سليمة وتقرأها الآلة غير ما تراه
الآلة تقرأ محارف لا أشكالاً. والكلمة التي تبدو لك واحدة قد تكون في الذاكرة كلمتين أو كلمة مختلفة. جمعنا هذه الحالات في قاعدة ar-ai-readability، ومنها:
- التطويل:
العــروضتحمل حرف تطويل في وسطها، فلا تطابق «العروض» التي يكتبها السائل. اكتب الكلمة عادية. فاحص التطويل يعدّ الكلمات الممطوطة. - الحروف الخفية: مسافة صفرية العرض (U+200B) أو رابط كلمات (U+2060) أو علامة BOM (U+FEFF) داخل كلمة تبدو كاملة للعين، وتقرؤها الأداة كلمتين. ابحث عنها في المصدر وامسحها. وعلامات الاتجاه تبقى بين الكلمات لا داخلها.
- أرقام بنظامين:
٢٠٢4تقرؤها الآلة رقمين أو لا رقم. اكتب الرقم بنظام واحد:٢٠٢٤أو2024. فاحص اتساق الأرقام يجد هذه الحالات، وهذه قاعدة ar-digits-mixed. والأسعار والأرقام هي ما تقتبسه المساعدات من صفحتك أكثر من غيره. - التشكيل الكامل: فقرة كل حرف فيها مشكَّل تقطّع الكلمة في أدوات البحث التي تتوقع حروفاً مجردة. شكّل الكلمة التي تحتاج التشكيل لتُقرأ صحيحاً، واكتب النص الجاري بلا تشكيل.
- حروف أشكال العرض: نص لصقته من PDF قد يحمل حروفاً من النطاق U+FB50 إلى U+FEFF: تبدو مثل الحروف الأصلية لكنها محارف أخرى. حوّلها قبل التخزين:
const clean = text.normalize('NFKC')وهذه الحالات نفسها هي التي تفسد وصل الحروف على الشاشة أحياناً، كما شرحنا في مقال الحروف المتقطعة.
الطبقة الرابعة: نص داخل صور
عروض الأسعار والبنرات التي تُصمَّم كصور وفيها جمل كاملة لا تقرؤها الآلة. إن كانت صفحتك لا تحمل إلا قليلاً من النص العربي وصور وصفها جمل طويلة، فنرجّح أن النص في الصور. ضع الجملة في HTML نصاً، واترك alt لوصف ما في الصورة. هذا يخدم قارئ الشاشة أيضاً.
اجعل ما تريد أن يُقتبس صريحاً
حين يجيب مساعد عن سؤال عن عملك، فإنه يقتبس جملاً واضحة: ما تبيعه، وسعره، وأين أنت، ومتى تعمل. إن كانت هذه المعلومات متفرقة في صور وقوائم منسدلة وسكربتات، فأمامه صعوبة في جمعها. اجمعها في صفحة واحدة بعناوين فرعية واضحة ونص عادي، وأضف بيانات منظمة (JSON-LD) لاسم الشركة وعنوانها، فهي تعين القارئ الآلي على معرفة عن ماذا تتحدث الصفحة. ولا تعد هذه الخطوة بالظهور في الإجابات، لكنها تزيل أسباباً تمنع الآلة من فهمك.
وللأرقام والأسعار تحديداً مكان مهم: اكتبها بنظام واحد، وضع العملة بجانبها نصاً، ولا تضعها في صورة. فهي أكثر ما يُنقل حرفياً من الصفحات.
اختبار بيدك في خمس دقائق
لا تحتاج أدوات لتعرف الجواب عن الطبقات الثلاث الأولى:
- افتح
https://موقعك/robots.txtواقرأه. هل فيهDisallow: /تحتUser-agent: *، أو أسماء الزواحف أعلاه؟ - اجلب الصفحة كما يجلبها زاحف لا يشغّل السكربتات، وابحث عن جملة من نصك بالأمر الذي بعد القائمة.
- أو افتح أدوات المطور، واختر «Disable JavaScript» من قائمة الأوامر، وأعد تحميل الصفحة. الصفحة الفارغة تعني أن نصك يأتي من السكربت.
- انسخ فقرة من الصفحة والصقها في محرر يُظهر الحروف الخفية، وانظر إن ظهر فيها شيء بين الحروف.
curl -s https://example.com/page | grep -c "جملة من نص الصفحة"إن أعاد الأمر صفراً فالجملة ليست في HTML الذي يرسله الخادم.
إن نجحت الاختبارات الأربعة فمشكلتك، إن وُجدت، ليست في وصول الآلة إلى النص.
أسئلة تتكرر
هل أمنع GPTBot؟
هذا قرارك أنت في استعمال محتواك لتدريب النماذج، ولا يمس ظهورك في إجابات البحث. زاحف البحث اسمه غير ذلك، كما رأيت. افصل القرارين في ملفك.
هل تكفي خريطة الموقع؟
خريطة الموقع تساعد على اكتشاف الصفحات، لكنها لا تتجاوز منعاً في robots.txt ولا صفحة تحدٍّ تردّ بها الحماية.
كيف تقيس حضورك
كل ما سبق شروط للقراءة، ولا يضمن أن يذكرك مساعد في إجابته. المساعدات تختار مما تقرأ ومما تعلمته، والاستشهاد ليس وعداً. لكنك تستطيع أن تسأل: أداة حضور الذكاء الاصطناعي بالعربية تطرح أسئلة عربية على ChatGPT وGemini وPerplexity وClaude وتنظر هل تذكر موقعك، وتعرض الفجوة إن وجدت (قاعدة ai-visibility-gap).
ويقترح بعضهم ملفاً باسم llms.txt يصف الموقع للنماذج. هو اقتراح مفتوح لا يعد أي مساعد بقراءته، ونحن ننشر واحداً لكننا لا نبني عليه. ابدأ بالطبقات الأربع، فهي ما يقرؤه الزاحف فعلاً: يدخل، ويجد النص في HTML، ويقرأه حروفاً سليمة، ويجده نصاً لا صورة.