لماذا يهم
- النماذج تتعلم من نصوص مصفّاة. مجموعة FineWeb-2 العامة، التي تدرّب عليها نماذج كثيرة، تسقط الصفحة التي تفشل في فلاتر الجودة قبل أن يراها النموذج. صفحتك الساقطة لا تدخل ما يتعلمه.
- التكرار يسقط الصفحة أكثر من أي شيء: الفقرة نفسها في كل صفحة، أو قوائم الروابط، أو نص التذييل المكرر.
- النص الجيد للبشر جيد للآلة: جمل كاملة بنقاط وعلامات ترقيم، وكلمات عربية شائعة، وأسطر لها معنى.
مثال
<p>نحمّص القهوة الطازجة كل يوم ونشحنها إلى جميع المدن بأفضل الأسعار</p> <p>نحمّص القهوة الطازجة كل يوم ونشحنها إلى جميع المدن بأفضل الأسعار</p> <p>نحمّص القهوة الطازجة كل يوم ونشحنها إلى جميع المدن بأفضل الأسعار</p>
<p>الماء عنصر لا يقل أهمية عن الحبوب نفسها، فالماء الثقيل بالأملاح يخفي النكهات الرقيقة. يُفضَّل أن تكون حرارته قريبة من الخامسة والتسعين مئوية، وأن يُسكب ببطء حتى تتشبع الحبوب بالتساوي.</p>
كيف تُصلح
- اكتب فقرات من جمل كاملة تنتهي بنقطة، وقلّل العناوين والقوائم القصيرة بلا شرح.
- لا تكرّر الفقرة نفسها في الصفحة أو في كل صفحات الموقع؛ وانقل النص المشترك إلى صفحة واحدة.
- لا تحشُ الصفحة بقوائم روابط أو كلمات مفتاحية متتابعة.
- أبقِ الأرقام والرموز تابعة لنص يشرحها.
كيف نكشف
- نأخذ النص المرئي في الصفحة العربية دون التنقل والرأس والتذييل، سطراً لكل كتلة، ونطبّق مرشّحات خط FineWeb-2 للعربية (
arb_Arab) بترتيبها: تكرار Gopher، ثم جودة FineWeb، ثم جودة Gopher. - العتبات هي القيم المنشورة في ملف
configs/arb_Arab.ymlمن مستودع huggingface/fineweb-2 (الإصدار d0defb24f193)، وما لا يذكره الملف فمن القيم الافتراضية لمكتبة datatrove (الإصدار 1977fbb0f3c1). لم نخترع رقماً. - تحديد اللغة في FineWeb-2 يتم بنموذج GlotLID (fastText) ولا يعمل هنا، فنقدّره بنسبة الحروف العربية من حروف النص ونقارنها بالعتبة 0.711 نفسها، ونعرضه معلومة لا حكماً. ولا يفرّق هذا التقدير بين العربية والفارسية والأردية. وفلاتر C4 ليست في خط FineWeb-2، فنعرضها مرجعاً لا حكماً.
- تقطيع الكلمات يقرّب مقطِّع spaCy العربي: كتلة حروف وأرقام، وكل علامة وحدها. والنص هنا نص الصفحة المرئي لا ناتج Trafilatura.
- يبلّغ عن كل نوع قياس سقط مرة واحدة، مع أول قياس وعدد الساقطة. تحتاج القاعدة 50 كلمة، وهو ما يطلبه الخط نفسه. الخطورة طفيفة.
المراجع
- FineWeb-2: خط المعالجة (بالإنجليزية)
- FineWeb-2: عتبات العربية (بالإنجليزية)
- Rae وآخرون: Scaling Language Models (Gopher) (بالإنجليزية)