انتقل إلى المحتوى

ترميز UTF-8

UTF-8 ترميز يكتب كل حرف في يونيكود بما بين بايت وأربعة بايتات، وهو الترميز الذي تشترطه HTML؛ وبه تصل العربية سليمة، شرط أن يطابق الإعلان الملف.

بالإنجليزية:UTF-8آخر تحديث

في هذه الصفحة

التعريف

  • UTF-8 صيغة تحويل لمجموعة الأحرف العالمية (يونيكود وISO 10646)، تكتب كل حرف من U+0000 إلى U+10FFFF بما بين بايت وأربعة بايتات. وأحرف ASCII تبقى بايتاً واحداً بقيمتها المعتادة (RFC 3629، القسمان 1 و3).
  • الحروف من U+0080 إلى U+07FF تأخذ بايتين (RFC 3629، القسم 3). والحرف العربي ق (U+0642) يقع في هذا المجال، فيُكتب بالبايتين D9 82؛ وكذلك كل حرف في كتلة الحروف العربية الأساسية.
  • يقول معيار الترميز من WHATWG إن UTF-8 أنسب ترميز لتبادل يونيكود، وإن البروتوكولات والصيغ الجديدة يجب أن تستعمله وحده. وتشترط HTML (القسم 4.2.5.4) أن يكون ترميز المستند الفعلي UTF-8، وأن يستعمل أي إعلان عنه التسمية utf-8، دون فرق بين الحروف الكبيرة والصغيرة.
  • يُعلن الترميز في ترويسة الخادم Content-Type: text/html; charset=utf-8، أو في وسم <meta charset="utf-8"> الذي يجب أن يقع كله ضمن أول 1024 بايت من المستند. وإذا اختلف الإعلانان فترويسة الخادم هي التي تُعتمد، وعلامة ترتيب البايتات (BOM) في أول الملف أقوى منهما (W3C).

لماذا يهم

  • يحمل UTF-8 كل أحرف يونيكود، فتجتمع في الصفحة الواحدة العربية والإنجليزية والأرقام والرموز، دون ترميز قديم لكل لغة.
  • إذا قُرئت بايتات UTF-8 بترميز آخر ظهر النص مشوّهاً: كل حرف عربي بايتان، فيقرؤهما Windows-1252 حرفين لاتينيين. وهذا هو النص المشوّه الترميز (mojibake) الذي تكشفه قاعدة ar-mojibake وأداة «فاحص ترميز العربية».
  • الإعلان وحده لا يصلح الملف: تقول W3C إن عليك أيضاً أن تحفظ الملف بترميز UTF-8.
  • تقول HTML إن الترميزات غير UTF-8 تسبب مشكلات في إرسال النماذج وفي ترميز الروابط، لأنهما يستعملان ترميز المستند افتراضياً. وهذه صلة UTF-8 بالترميز بالنسبة المئوية في الروابط.
  • ترميز النص لا يخبر المتصفح بلغته: السمة lang هي التي تعلن اللغة، ولا يغني أحدهما عن الآخر.

مثال

الإعلان في ترويسة الخادم وفي أول <head>، والملف نفسه محفوظ بترميز UTF-8:

Content-Type: text/html; charset=utf-8
html
<!doctype html>
<html lang="ar" dir="rtl">
  <head>
    <meta charset="utf-8" />
    <title>المتجر</title>
  </head>
</html>

وهكذا يُكتب الحرف ق بايتات:

js
new TextEncoder().encode('ق') // Uint8Array [217, 130]، أي D9 82

أخطاء شائعة

  • إعلان UTF-8 دون حفظ الملف به: يجب أن يطابق الإعلان البايتات.
  • وضع وسم <meta charset> بعد أول 1024 بايت من الملف، كأن تسبقه سكربتات أو أنماط مضمّنة طويلة. ضعه بعد <head> مباشرة.
  • اختلاف الترويسة والوسم: يغلب الترويسة، فيصير الوسم تضليلاً لمن يقرأ الكود.
  • استعمال وسم charset ووسم http-equiv للترميز معاً: لا تسمح HTML بالاثنين في مستند واحد.
  • ترك قاعدة البيانات أو اتصالها بترميز آخر، فيدخل النص إليها ويخرج مشوّهاً. تقترح قاعدة ar-mojibake ترميز utf8mb4 في MySQL.

المراجع