انتقل إلى المحتوى

زواحف الذكاء الاصطناعي (AI crawlers)

زواحف الذكاء الاصطناعي برامج تجمع صفحات الويب لشركات مثل OpenAI وAnthropic وPerplexity، بعضها لتدريب النماذج، وبعضها للبحث، وبعضها لطلبات المستخدمين.

بالإنجليزية:AI crawlersآخر تحديث

في هذه الصفحة

التعريف

لكل زاحف اسمه في robots.txt، فتستطيع أن تسمح لبعضها وتمنع بعضها:

الزاحفالشركةالغرض
GPTBotOpenAIمحتوى قد يُستخدم في تدريب نماذجها
OAI-SearchBotOpenAIنتائج البحث في ChatGPT
ChatGPT-UserOpenAIزيارة صفحة حين يطلب مستخدم
ClaudeBotAnthropicمحتوى قد يُستخدم في تدريب نماذجها
Claude-SearchBotAnthropicنتائج البحث لمستخدميها
Claude-UserAnthropicزيارة صفحة حين يطلب مستخدم
PerplexityBotPerplexityنتائج بحث Perplexity، لا التدريب
Perplexity-UserPerplexityزيارة صفحة حين يطلب مستخدم

أما Google-Extended فليس زاحفاً، بل اسم في robots.txt تقرر به هل يستعمل Google محتواك في تدريب نماذج Gemini وفي تحديد المصادر (grounding)، ولا أثر له في بحث Google.

لماذا يهم

  • منع التدريب غير منع البحث: توثّق OpenAI أن المواقع التي تمنع OAI-SearchBot لا تظهر في إجابات بحث ChatGPT إلا روابطَ تنقّل، وأن كل إعداد مستقل عن الآخر، فتستطيع أن تسمح للزاحف OAI-SearchBot وتمنع GPTBot.
  • زواحف المستخدمين تختلف: تقول OpenAI إن robots.txt قد لا ينطبق على ChatGPT-User، وتقول Perplexity إن Perplexity-User يتجاهله في العادة، أما Anthropic فتقول إن منع Claude-User يمنعها من جلب محتواك للمستخدمين.
  • ميزات الذكاء الاصطناعي في بحث Google، مثل «النبذات باستخدام الذكاء الاصطناعي» (AI Overviews)، تتبع قواعد Googlebot لا Google-Extended، ولتحدّ مما يُعرض فيها من صفحاتك استعمل nosnippet أو noindex.

مثال

ملف robots.txt يسمح لزواحف البحث ويمنع زواحف التدريب:

text
# زواحف البحث: مسموح لها
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

# زواحف التدريب: ممنوع عليها
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

المجموعة التي تحمل اسم الزاحف تتقدم على مجموعة *. وتقول OpenAI إن أنظمة البحث لديها قد تحتاج نحو 24 ساعة لتلحق بالتعديل.

أخطاء شائعة

  • قائمة منع منسوخة تمنع زواحف البحث مع زواحف التدريب، فيغيب الموقع عن إجابات البحث بالذكاء الاصطناعي.
  • قواعد في ملف النطاق الرئيسي وحده، والموقع العربي على ar.example.com: تطلب Anthropic أن تكون القواعد في ملف كل نطاق فرعي.
  • جدار حماية يحجب زواحف يسمح لها robots.txt: توصي Perplexity بالسماح لزواحفها فيه بمطابقة اسمها وعناوين IP التي تنشرها معاً.