انتقل إلى المحتوى

نسخة Markdown للوكلاء تُسقط العربية

markdown-arabic-lossبسيط
في هذه الصفحة

لماذا يهم

  • بعض المواقع، أو الخدمات التي أمامها، تعطي وكلاء الذكاء الاصطناعي الصفحة بصيغة Markdown حين يطلبونها بالترويسة Accept: text/markdown، فيقرؤون النص دون الوسوم.
  • لكن أدوات التحويل قد تُسقط النص المكتوب من اليمين إلى اليسار، أو تكتبه بترميز خاطئ، أو لا تأخذ إلا القوائم والتذييل. فيرى الوكيل صفحة غير التي يراها الزائر.
  • وما يقرؤه الوكيل هو ما يقتبسه في إجاباته: إذا ضاع النص العربي من النسخة، ضاع من الإجابات.

كيف تُصلح

  • افتح الصفحة كما يطلبها الوكيل، وقارن النص بما تراه في المتصفح:
text
curl -H "Accept: text/markdown" https://example.com/الصفحة
  • إن كان التحويل من خدمة أمام الموقع، فتأكد أن الصفحة تُرسل بالترميز UTF-8 وأن نصها الأساسي في عناصر المحتوى (main وarticle) لا في عناصر يحذفها المحوّل.
  • وإن كنت تولّد Markdown بنفسك، فولّده من مصدر المحتوى نفسه لا من HTML الصفحة بعد أن تبنيه السكربتات.

كيف نكشف

نطلب الصفحة نفسها مرة واحدة بالترويسة Accept: text/markdown، حيث يسمح robots.txt. وإذا ردّت بالنوع text/markdown وكانت الصفحة عربية في أغلبها، وفيها 30 كلمة عربية مختلفة على الأقل، قارنّا كلمات النسخة بكلمات الصفحة بعد توحيد الهمزات والتاء المربوطة والألف المقصورة وحذف التشكيل. وتفشل القاعدة إذا لم يبقَ في النسخة نصف كلمات الصفحة المختلفة، أو لم يبقَ فيها حرف عربي.