لماذا يهم
- يمنع robots.txt الزاحف من الصفحة أو يسمح له، لكنه لا يقول ماذا يفعل بها بعد أن يقرأها. إشارات المحتوى تقول ذلك: هل يجوز أن تظهر في البحث، وأن تكون مدخلاً لإجابات الذكاء الاصطناعي، وأن تُدرَّب عليها النماذج.
- هذه معلومة: الإشارات اتفاق ناشئ، وتعتمدها بعض الخدمات دون غيرها، وغيابها لا يمنع أحداً ولا يسمح لأحد.
كيف تُصلح
أضف سطراً في مجموعة User-agent: * يقول تفضيلك:
text
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /كيف نكشف
في أداة جاهزية الوكلاء وحدها: نقرأ سطور Content-Signal وContent-Usage في مجموعات robots.txt، وترويسة content-signal في رد الصفحة. ويكفي سطر واحد بمفتاح معرّف، أو الترويسة.
المراجع
- Content Signals (بالإنجليزية)
- IETF: مسودة ربط تفضيلات الذكاء الاصطناعي بملف robots.txt (بالإنجليزية)