التعريف
- UTF-8 صيغة تحويل لمجموعة الأحرف العالمية (يونيكود وISO 10646)، تكتب كل حرف من
U+0000إلىU+10FFFFبما بين بايت وأربعة بايتات. وأحرف ASCII تبقى بايتاً واحداً بقيمتها المعتادة (RFC 3629، القسمان 1 و3). - الحروف من
U+0080إلىU+07FFتأخذ بايتين (RFC 3629، القسم 3). والحرف العربي ق (U+0642) يقع في هذا المجال، فيُكتب بالبايتينD9 82؛ وكذلك كل حرف في كتلة الحروف العربية الأساسية. - يقول معيار الترميز من WHATWG إن UTF-8 أنسب ترميز لتبادل يونيكود، وإن البروتوكولات والصيغ الجديدة يجب أن تستعمله وحده. وتشترط HTML (القسم 4.2.5.4) أن يكون ترميز المستند الفعلي UTF-8، وأن يستعمل أي إعلان عنه التسمية
utf-8، دون فرق بين الحروف الكبيرة والصغيرة. - يُعلن الترميز في ترويسة الخادم
Content-Type: text/html; charset=utf-8، أو في وسم<meta charset="utf-8">الذي يجب أن يقع كله ضمن أول 1024 بايت من المستند. وإذا اختلف الإعلانان فترويسة الخادم هي التي تُعتمد، وعلامة ترتيب البايتات (BOM) في أول الملف أقوى منهما (W3C).
لماذا يهم
- يحمل UTF-8 كل أحرف يونيكود، فتجتمع في الصفحة الواحدة العربية والإنجليزية والأرقام والرموز، دون ترميز قديم لكل لغة.
- إذا قُرئت بايتات UTF-8 بترميز آخر ظهر النص مشوّهاً: كل حرف عربي بايتان، فيقرؤهما Windows-1252 حرفين لاتينيين. وهذا هو النص المشوّه الترميز (mojibake) الذي تكشفه قاعدة
ar-mojibakeوأداة «فاحص ترميز العربية». - الإعلان وحده لا يصلح الملف: تقول W3C إن عليك أيضاً أن تحفظ الملف بترميز UTF-8.
- تقول HTML إن الترميزات غير UTF-8 تسبب مشكلات في إرسال النماذج وفي ترميز الروابط، لأنهما يستعملان ترميز المستند افتراضياً. وهذه صلة UTF-8 بالترميز بالنسبة المئوية في الروابط.
- ترميز النص لا يخبر المتصفح بلغته: السمة
langهي التي تعلن اللغة، ولا يغني أحدهما عن الآخر.
مثال
الإعلان في ترويسة الخادم وفي أول <head>، والملف نفسه محفوظ بترميز UTF-8:
Content-Type: text/html; charset=utf-8html
<!doctype html>
<html lang="ar" dir="rtl">
<head>
<meta charset="utf-8" />
<title>المتجر</title>
</head>
</html>وهكذا يُكتب الحرف ق بايتات:
js
new TextEncoder().encode('ق') // Uint8Array [217, 130]، أي D9 82أخطاء شائعة
- إعلان UTF-8 دون حفظ الملف به: يجب أن يطابق الإعلان البايتات.
- وضع وسم
<meta charset>بعد أول 1024 بايت من الملف، كأن تسبقه سكربتات أو أنماط مضمّنة طويلة. ضعه بعد<head>مباشرة. - اختلاف الترويسة والوسم: يغلب الترويسة، فيصير الوسم تضليلاً لمن يقرأ الكود.
- استعمال وسم
charsetووسمhttp-equivللترميز معاً: لا تسمح HTML بالاثنين في مستند واحد. - ترك قاعدة البيانات أو اتصالها بترميز آخر، فيدخل النص إليها ويخرج مشوّهاً. تقترح قاعدة
ar-mojibakeترميزutf8mb4في MySQL.
المراجع
- مواصفة الترميز (WHATWG) (بالإنجليزية)
- HTML (WHATWG): تحديد ترميز أحرف المستند (بالإنجليزية)
- IETF: RFC 3629، UTF-8 (بالإنجليزية)
- W3C: إعلان ترميز الأحرف في HTML (بالإنجليزية)