لماذا يهم
- إشارات المحتوى (Content-Signal) سطور في robots.txt تقول لمن يجمع الصفحات كيف يجوز له أن يستخدمها: في البحث، أو مدخلاً لإجابات الذكاء الاصطناعي، أو في تدريب النماذج. وفي مسودات IETF لتفضيلات الذكاء الاصطناعي سطر مشابه اسمه Content-Usage.
- قارئ هذه السطور يتجاهل ما لا يفهمه: مفتاحاً بغير اسمه، أو قيمة غير قيمتيه، أو سطراً خارج أي مجموعة. فيبقى تفضيلك كأنه لم يُكتب.
- والسماح بالبحث لمجموعة ممنوعة من الموقع كله تناقض يحير من يقرأ الملف.
مثال
Content-Signal: search=yes, ai-trian=no
Content-Signal: search=yes, ai-input=yes, ai-train=no
كيف تُصلح
ضع السطر داخل مجموعة User-agent، بالمفاتيح والقيم المعرّفة:
text
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /- مفاتيح Content-Signal:
searchوai-inputوai-train، وقيمهاyesأوno. - مفاتيح Content-Usage في مسودة IETF:
searchوai-useوtrain-ai، وقيمهاyأوn. - يجوز أن يسبق الأزواجَ مسارٌ:
Content-Signal: /blog/ ai-train=no.
كيف نكشف
نقرأ سطور Content-Signal وContent-Usage من robots.txt مع المجموعة التي هي فيها، ونفحص كل زوج مفتاح=قيمة على مفردات سطره. ونعدّ السطر الذي قبل أول User-agent خارج المجموعات. ولا نعدّ ai-train=yes تناقضاً مع منع الموقع: التدريب قد يستخدم نسخاً جُمعت من قبل.
المراجع
- Content Signals: صيغة السطر ومعاني مفاتيحه (بالإنجليزية)
- IETF: مسودة ربط تفضيلات الذكاء الاصطناعي بملف robots.txt (Content-Usage) (بالإنجليزية)
- IETF: مسودة مفردات تفضيلات الذكاء الاصطناعي (بالإنجليزية)