انتقل إلى المحتوى

هل يمر محتواك من فلاتر الذكاء الاصطناعي؟

هل يمر نص صفحتك من فلاتر جودة FineWeb-2 للعربية التي تُنقّى بها بيانات تدريب نماذج الذكاء الاصطناعي؟

  • فحص صفحتك
  • يقرأ:HTML
  • قاعدة واحدة
  • آخر تحديث

يقرأ: HTML

مجاني وبلا تسجيل.

ماذا نحفظ؟

نحفظ العنوان كما ترسله، بما فيه ما بعد علامة الاستفهام، ويظهر في تقريره. يفتح التقرير كل من يملك رابطه، فلا تضع في العنوان مفاتيح أو رموز دخول أو بيانات شخصية.

النتيجة تظهر هنا

أدخل رابط صفحتك واضغط «افحص الصفحة». هذا ما تشغّله الأداة عليها:

  • نص الصفحة لا يمر من فلاتر جودة بيانات تدريب الذكاء الاصطناعيلم تبدأ

ماذا تفحص

  • تكرار Gopher: الأسطر المكرَّرة، والجمل المتتالية الأكثر تكراراً (2 و3 و4 كلمات)، والمقاطع المكرَّرة (5 إلى 10 كلمات).
  • جودة FineWeb: نسبة الأسطر التي تنتهي بعلامة ترقيم، والأسطر المكرَّرة، ونسبة الأسطر إلى الكلمات.
  • جودة Gopher: عدد الكلمات، ومتوسط طول الكلمة، والرموز وعلامات الحذف ونقاط القوائم، ونسبة الكلمات التي فيها حروف، والكلمات الشائعة العربية.
  • بالعتبات المنشورة للعربية في configs/arb_Arab.yml من مستودع FineWeb-2. تحديد اللغة تقدير بنسبة الحروف العربية لا نموذج GlotLID، وفلاتر C4 مرجع لا حكم؛ وكلاهما معلَّم بذلك.

مثال

خطأHTML
<p>نحمّص القهوة الطازجة كل يوم ونشحنها إلى جميع المدن بأفضل الأسعار</p>
<p>نحمّص القهوة الطازجة كل يوم ونشحنها إلى جميع المدن بأفضل الأسعار</p>
<p>نحمّص القهوة الطازجة كل يوم ونشحنها إلى جميع المدن بأفضل الأسعار</p>
صحيحHTML
<p>الماء عنصر لا يقل أهمية عن الحبوب نفسها، فالماء الثقيل بالأملاح يخفي النكهات الرقيقة. يُفضَّل أن تكون حرارته قريبة من الخامسة والتسعين مئوية، وأن يُسكب ببطء حتى تتشبع الحبوب بالتساوي.</p>

كيف تُصلح

  • اكتب فقرات من جمل كاملة تنتهي بعلامة ترقيم، وقلّل القوائم القصيرة بلا شرح.
  • لا تكرّر الفقرة نفسها داخل الصفحة أو في صفحات الموقع كلها.
  • اجعل في الصفحة 50 كلمة عربية متصلة على الأقل.
  • أبقِ الأرقام والرموز تابعة لنص يشرحها.
HTML
<article>
  <h1>كيف نحمّص القهوة؟</h1>
  <p>نبدأ بحبوب خضراء، ثم نحمّصها على حرارة محسوبة. بعدها نتركها لتبرد قبل التعبئة.</p>
</article>

أسئلة شائعة

لا. يعني أن نص صفحتك يمر من فلاتر الجودة المنشورة، وهي شرط لدخوله بيانات كهذه لا ضمان له. ولا يقول الفحص شيئاً عن زحف أي شركة لموقعك.

نموذج GlotLID الذي يستعمله FineWeb-2 نموذج fastText لا يعمل في خادمنا. لذلك نعرض نسبة الحروف العربية من حروف النص ونقارنها بالعتبة نفسها (0.711) معلومةً، ولا نبني عليها حكماً.

يضيف ملاحظة طفيفة إن سقط نصك في فلتر منشور. وهو لا يكلّف شيئاً إن كان نصك أقل من 50 كلمة، فنقول إن النص قليل.

كيف نقيس

آخر تحديث المنهجية وحساب الدرجة

نأخذ النص المرئي في الصفحة دون التنقل والرأس والتذييل، سطراً لكل كتلة، ونقطّعه إلى كلمات بما يقرّب مقطِّع spaCy العربي، ثم نطبّق تكرار Gopher وجودة FineWeb وجودة Gopher بترتيب الخط. العتبات: configs/arb_Arab.yml في huggingface/fineweb-2 (الإصدار d0defb24f193)، وما لم تذكره فقيم datatrove (الإصدار 1977fbb0f3c1). هذا فحص لما نشرته Hugging Face علناً، وليس فحصاً لما تفعله شركة بعينها.