انتقل إلى المحتوى

إشارات المحتوى في robots.txt لا تُقرأ

content-signals-invalidبسيط
في هذه الصفحة

لماذا يهم

  • إشارات المحتوى (Content-Signal) سطور في robots.txt تقول لمن يجمع الصفحات كيف يجوز له أن يستخدمها: في البحث، أو مدخلاً لإجابات الذكاء الاصطناعي، أو في تدريب النماذج. وفي مسودات IETF لتفضيلات الذكاء الاصطناعي سطر مشابه اسمه Content-Usage.
  • قارئ هذه السطور يتجاهل ما لا يفهمه: مفتاحاً بغير اسمه، أو قيمة غير قيمتيه، أو سطراً خارج أي مجموعة. فيبقى تفضيلك كأنه لم يُكتب.
  • والسماح بالبحث لمجموعة ممنوعة من الموقع كله تناقض يحير من يقرأ الملف.

مثال

خطأ
Content-Signal: search=yes, ai-trian=no
صحيح
Content-Signal: search=yes, ai-input=yes, ai-train=no

كيف تُصلح

ضع السطر داخل مجموعة User-agent، بالمفاتيح والقيم المعرّفة:

text
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
  • مفاتيح Content-Signal: search وai-input وai-train، وقيمها yes أو no.
  • مفاتيح Content-Usage في مسودة IETF: search وai-use وtrain-ai، وقيمها y أو n.
  • يجوز أن يسبق الأزواجَ مسارٌ: Content-Signal: /blog/ ai-train=no.

كيف نكشف

نقرأ سطور Content-Signal وContent-Usage من robots.txt مع المجموعة التي هي فيها، ونفحص كل زوج مفتاح=قيمة على مفردات سطره. ونعدّ السطر الذي قبل أول User-agent خارج المجموعات. ولا نعدّ ai-train=yes تناقضاً مع منع الموقع: التدريب قد يستخدم نسخاً جُمعت من قبل.