هل يمر محتواك من فلاتر الذكاء الاصطناعي؟
هل يمر نص صفحتك من فلاتر جودة FineWeb-2 للعربية التي تُنقّى بها بيانات تدريب نماذج الذكاء الاصطناعي؟
- فحص صفحتك
- يقرأ:HTML
- قاعدة واحدة
- آخر تحديث
ماذا نحفظ؟
النتيجة تظهر هنا
أدخل رابط صفحتك واضغط «افحص الصفحة». هذا ما تشغّله الأداة عليها:
- نص الصفحة لا يمر من فلاتر جودة بيانات تدريب الذكاء الاصطناعيلم تبدأ
ماذا تفحص
- تكرار Gopher: الأسطر المكرَّرة، والجمل المتتالية الأكثر تكراراً (2 و3 و4 كلمات)، والمقاطع المكرَّرة (5 إلى 10 كلمات).
- جودة FineWeb: نسبة الأسطر التي تنتهي بعلامة ترقيم، والأسطر المكرَّرة، ونسبة الأسطر إلى الكلمات.
- جودة Gopher: عدد الكلمات، ومتوسط طول الكلمة، والرموز وعلامات الحذف ونقاط القوائم، ونسبة الكلمات التي فيها حروف، والكلمات الشائعة العربية.
- بالعتبات المنشورة للعربية في
configs/arb_Arab.ymlمن مستودع FineWeb-2. تحديد اللغة تقدير بنسبة الحروف العربية لا نموذج GlotLID، وفلاتر C4 مرجع لا حكم؛ وكلاهما معلَّم بذلك.
مثال
<p>نحمّص القهوة الطازجة كل يوم ونشحنها إلى جميع المدن بأفضل الأسعار</p> <p>نحمّص القهوة الطازجة كل يوم ونشحنها إلى جميع المدن بأفضل الأسعار</p> <p>نحمّص القهوة الطازجة كل يوم ونشحنها إلى جميع المدن بأفضل الأسعار</p>
<p>الماء عنصر لا يقل أهمية عن الحبوب نفسها، فالماء الثقيل بالأملاح يخفي النكهات الرقيقة. يُفضَّل أن تكون حرارته قريبة من الخامسة والتسعين مئوية، وأن يُسكب ببطء حتى تتشبع الحبوب بالتساوي.</p>
كيف تُصلح
- اكتب فقرات من جمل كاملة تنتهي بعلامة ترقيم، وقلّل القوائم القصيرة بلا شرح.
- لا تكرّر الفقرة نفسها داخل الصفحة أو في صفحات الموقع كلها.
- اجعل في الصفحة 50 كلمة عربية متصلة على الأقل.
- أبقِ الأرقام والرموز تابعة لنص يشرحها.
<article>
<h1>كيف نحمّص القهوة؟</h1>
<p>نبدأ بحبوب خضراء، ثم نحمّصها على حرارة محسوبة. بعدها نتركها لتبرد قبل التعبئة.</p>
</article>أسئلة شائعة
لا. يعني أن نص صفحتك يمر من فلاتر الجودة المنشورة، وهي شرط لدخوله بيانات كهذه لا ضمان له. ولا يقول الفحص شيئاً عن زحف أي شركة لموقعك.
نموذج GlotLID الذي يستعمله FineWeb-2 نموذج fastText لا يعمل في خادمنا. لذلك نعرض نسبة الحروف العربية من حروف النص ونقارنها بالعتبة نفسها (0.711) معلومةً، ولا نبني عليها حكماً.
يضيف ملاحظة طفيفة إن سقط نصك في فلتر منشور. وهو لا يكلّف شيئاً إن كان نصك أقل من 50 كلمة، فنقول إن النص قليل.
ما تشغّله هذه الأداة
- نص الصفحة لا يمر من فلاتر جودة بيانات تدريب الذكاء الاصطناعيبسيط
ai-training-filters
كيف نقيس
نأخذ النص المرئي في الصفحة دون التنقل والرأس والتذييل، سطراً لكل كتلة، ونقطّعه إلى كلمات بما يقرّب مقطِّع spaCy العربي، ثم نطبّق تكرار Gopher وجودة FineWeb وجودة Gopher بترتيب الخط. العتبات: configs/arb_Arab.yml في huggingface/fineweb-2 (الإصدار d0defb24f193)، وما لم تذكره فقيم datatrove (الإصدار 1977fbb0f3c1). هذا فحص لما نشرته Hugging Face علناً، وليس فحصاً لما تفعله شركة بعينها.