التعريف
لكل زاحف اسمه في robots.txt، فتستطيع أن تسمح لبعضها وتمنع بعضها:
| الزاحف | الشركة | الغرض |
|---|---|---|
GPTBot | OpenAI | محتوى قد يُستخدم في تدريب نماذجها |
OAI-SearchBot | OpenAI | نتائج البحث في ChatGPT |
ChatGPT-User | OpenAI | زيارة صفحة حين يطلب مستخدم |
ClaudeBot | Anthropic | محتوى قد يُستخدم في تدريب نماذجها |
Claude-SearchBot | Anthropic | نتائج البحث لمستخدميها |
Claude-User | Anthropic | زيارة صفحة حين يطلب مستخدم |
PerplexityBot | Perplexity | نتائج بحث Perplexity، لا التدريب |
Perplexity-User | Perplexity | زيارة صفحة حين يطلب مستخدم |
أما Google-Extended فليس زاحفاً، بل اسم في robots.txt تقرر به هل يستعمل Google محتواك في تدريب نماذج Gemini وفي تحديد المصادر (grounding)، ولا أثر له في بحث Google.
لماذا يهم
- منع التدريب غير منع البحث: توثّق OpenAI أن المواقع التي تمنع
OAI-SearchBotلا تظهر في إجابات بحث ChatGPT إلا روابطَ تنقّل، وأن كل إعداد مستقل عن الآخر، فتستطيع أن تسمح للزاحفOAI-SearchBotوتمنعGPTBot. - زواحف المستخدمين تختلف: تقول OpenAI إن robots.txt قد لا ينطبق على
ChatGPT-User، وتقول Perplexity إنPerplexity-Userيتجاهله في العادة، أما Anthropic فتقول إن منعClaude-Userيمنعها من جلب محتواك للمستخدمين. - ميزات الذكاء الاصطناعي في بحث Google، مثل «النبذات باستخدام الذكاء الاصطناعي» (AI Overviews)، تتبع قواعد
GooglebotلاGoogle-Extended، ولتحدّ مما يُعرض فيها من صفحاتك استعملnosnippetأوnoindex.
مثال
ملف robots.txt يسمح لزواحف البحث ويمنع زواحف التدريب:
text
# زواحف البحث: مسموح لها
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
# زواحف التدريب: ممنوع عليها
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /المجموعة التي تحمل اسم الزاحف تتقدم على مجموعة *. وتقول OpenAI إن أنظمة البحث لديها قد تحتاج نحو 24 ساعة لتلحق بالتعديل.
أخطاء شائعة
- قائمة منع منسوخة تمنع زواحف البحث مع زواحف التدريب، فيغيب الموقع عن إجابات البحث بالذكاء الاصطناعي.
- قواعد في ملف النطاق الرئيسي وحده، والموقع العربي على
ar.example.com: تطلب Anthropic أن تكون القواعد في ملف كل نطاق فرعي. - جدار حماية يحجب زواحف يسمح لها robots.txt: توصي Perplexity بالسماح لزواحفها فيه بمطابقة اسمها وعناوين IP التي تنشرها معاً.
المراجع
- OpenAI: زواحف OpenAI (بالإنجليزية)
- Anthropic: هل تزحف Anthropic إلى الويب، وكيف يمنع أصحاب المواقع زواحفها؟ (بالإنجليزية)
- Perplexity: زواحف Perplexity (بالإنجليزية)
- Google: قائمة ببرامج الزحف الشائعة من Google
- Google Search Central: موقعك الإلكتروني والميزات التي تستخدم الذكاء الاصطناعي
- RFC 9309: بروتوكول استبعاد الروبوتات (بالإنجليزية)