فحص زواحف الذكاء الاصطناعي
هل يمنع ملف robots.txt زواحف البحث بالذكاء الاصطناعي من صفحتك؟
- فحص صفحتك
- يقرأ:robots.txt
- قاعدة واحدة
- آخر تحديث
ماذا نحفظ؟
النتيجة تظهر هنا
أدخل رابط صفحتك واضغط «افحص الصفحة». هذا ما تشغّله الأداة عليها:
- robots.txt يمنع زواحف البحث بالذكاء الاصطناعيلم تبدأ
ماذا تفحص
- هل يمنع robots.txt الصفحة عن زواحف البحث بالذكاء الاصطناعي:
OAI-SearchBotمن OpenAI، وClaude-SearchBotمن Anthropic، وPerplexityBotمن Perplexity. - حالة زواحف التدريب والجلب بطلب المستخدم لدى هذه الشركات، و
Google-Extended، مسموحة أو ممنوعة، كمعلومة لا كمخالفة. - هل يرد robots.txt بخطأ من الخادم (5xx) أو لا يمكن الوصول إليه، فتعامله الزواحف التي تتبع RFC 9309 كمنع للموقع كله؛ ونعامل الرد 429 بالطريقة نفسها كما يفعل Google.
مثال
User-agent: GPTBot User-agent: OAI-SearchBot User-agent: PerplexityBot Disallow: /
User-agent: OAI-SearchBot User-agent: Claude-SearchBot User-agent: PerplexityBot Allow: / User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended Disallow: /
كيف تُصلح
اسمح لزواحف البحث، وامنع زواحف التدريب إن أردت:
المجموعة التي تسمّي زاحفاً باسمه تتقدم على مجموعة *، فيعمل هذا حتى لو كان في الملف User-agent: * مع Disallow: /.
# اسمح للبحث بالذكاء الاصطناعي بالاستشهاد بالموقع
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
# أبقِ المحتوى خارج تدريب النماذج
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /أسئلة شائعة
زواحف البحث، مثل OAI-SearchBot وClaude-SearchBot وPerplexityBot، تجمع الصفحات التي تستشهد بها إجابات البحث بالذكاء الاصطناعي مع رابط إلى المصدر. أما GPTBot وClaudeBot فتجمع المحتوى لتدريب النماذج، وGoogle-Extended اسم في robots.txt يضبط استخدام Google لمحتواك في تدريب نماذجه ولا يؤثر في ظهورك في بحث Google. منع التدريب خيار مشروع لا نعدّه مشكلة.
قد تُستبعد صفحاتك من إجابات تلك الخدمات: توثّق OpenAI أن المواقع التي تمنع OAI-SearchBot لا تظهر في إجابات بحث ChatGPT، وتوثّق Anthropic وPerplexity أثراً مشابهاً على الظهور في نتائجهما.
لا. تقرأ الأداة robots.txt فقط، وقد يحجب جدار حماية أو خدمة لحماية المواقع من البوتات زاحفاً يسمح له robots.txt. ونجلب الملف باسم ArablyzerBot، فالنتيجة تصف ما استلمناه نحن.
ما تشغّله هذه الأداة
- robots.txt يمنع زواحف البحث بالذكاء الاصطناعيمتوسط
robots-blocks-ai-search
كيف نقيس
نجلب robots.txt من أصل الصفحة باسم ArablyzerBot، ونقرؤه حسب RFC 9309 وبتسامح محلل Google مفتوح المصدر، حتى 500 كيلوبايت، ونتبع 5 تحويلات على الأكثر. لكل زاحف في قائمتنا نختار المجموعة التي تسمّيه، أو مجموعة * إن لم توجد، ثم تحكم أطول قاعدة تطابق مسار الصفحة. أسماء الزواحف وأغراضها مأخوذة من توثيق كل شركة، ونحدّثها حين تتغير.