لماذا يهم
- خدمات البحث بالذكاء الاصطناعي، مثل بحث ChatGPT وClaude وPerplexity، تجيب عن الأسئلة مع روابط إلى مصادرها. زواحف البحث لديها (OAI-SearchBot وClaude-SearchBot وPerplexityBot) هي التي تجمع الصفحات التي يمكن ذكرها في الإجابات.
- إذا منعها robots.txt فقد تُستبعد صفحتك من تلك الإجابات: توثّق OpenAI أن المواقع التي تمنع OAI-SearchBot لا تظهر في إجابات بحث ChatGPT، وتوثّق Anthropic وPerplexity أثراً مشابهاً على الظهور في نتائجهما.
- زواحف البحث غير زواحف تدريب النماذج، مثل GPTBot وClaudeBot وGoogle-Extended. منع التدريب قرار مشروع لا نعدّه مخالفة، لكن قد تُمنع زواحف البحث معه بالخطأ، بقاعدة عامة أو بقائمة منسوخة.
مثال
# Keep ChatGPT search out User-agent: OAI-SearchBot Disallow: /
# No model training on our content User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: /
كيف تُصلح
اسمح لزواحف البحث، وامنع زواحف التدريب إن أردت:
text
# اسمح للبحث بالذكاء الاصطناعي بأن يذكر الموقع
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
# لا تستخدموا المحتوى في تدريب النماذج
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /مجموعة باسم الزاحف تتقدم على مجموعة *، فهذا يعمل حتى لو كان في الملف User-agent: * مع Disallow: /.
كيف نكشف
- نستخدم محلل robots.txt ومطابقته نفسيهما في قاعدة Googlebot، لكل زاحف بحث في قائمتنا: OAI-SearchBot من OpenAI، وClaude-SearchBot من Anthropic، وPerplexityBot من Perplexity. تحققنا من الأسماء والأغراض في توثيق كل مزوّد، ونحدّث القائمة حين يغيّرونها.
- زواحف التدريب والزواحف التي تجلب الصفحة بطلب من مستخدم تظهر في جدول الزواحف في التقرير، مسموحة أو ممنوعة، ولا تجعل القاعدة تفشل.
- إذا ردّ robots.txt بخطأ من الخادم (5xx) أو تعذّر الوصول إليه، فإن RFC 9309 يطلب من الزواحف أن تعامل الموقع كله كممنوع. ونعامل الرد 429 بالطريقة نفسها كما يفعل Google، ونذكر أياً منهما في مخالفة واحدة.
المراجع
- OpenAI: زواحف OpenAI (بالإنجليزية)
- Anthropic: زواحف Anthropic وكيف يمنعها أصحاب المواقع (بالإنجليزية)
- Perplexity: كيف يتبع Perplexity ملف robots.txt (بالإنجليزية)
- RFC 9309: بروتوكول استبعاد الروبوتات (بالإنجليزية)