فحص وصول الذكاء الاصطناعي
هل يسمح robots.txt وحماية موقعك من البوتات لزواحف الذكاء الاصطناعي بالوصول إلى صفحتك؟
- فحص صفحتك
- يقرأ:robots.txt
- قاعدتان
- آخر تحديث
ماذا نحفظ؟
النتيجة تظهر هنا
أدخل رابط صفحتك واضغط «افحص الصفحة». هذا ما تشغّله الأداة عليها:
- robots.txt يمنع زواحف البحث بالذكاء الاصطناعيلم تبدأ
- الموقع يرد على البوتات بتحدٍّلم تبدأ
ماذا تفحص
- هل يمنع robots.txt الصفحة عن زواحف البحث بالذكاء الاصطناعي،
OAI-SearchBotمن OpenAI وClaude-SearchBotمن Anthropic وPerplexityBotمن Perplexity، أو يرد بخطأ من الخادم (5xx) أو لا يمكن الوصول إليه، فتعامله الزواحف التي تتبع RFC 9309 كمنع للموقع كله. - هل ردّ الموقع على طلبنا بتحدٍّ للبوتات بدل الصفحة، بالترويسة التي توثّقها خدمته:
cf-mitigated: challengeمن Cloudflare، أوx-amzn-waf-actionمن AWS WAF. وهذه معلومة: قد تُرفض زواحف الذكاء الاصطناعي بالطريقة نفسها.
مثال
HTTP/1.1 403 Forbidden Content-Type: text/html; charset=UTF-8 cf-mitigated: challenge
HTTP/1.1 200 OK Content-Type: text/html; charset=utf-8
كيف تُصلح
- اسمح لزواحف البحث بالذكاء الاصطناعي في robots.txt، وامنع زواحف التدريب إن أردت:
- وإذا كان موقعك يرد على البوتات بتحدٍّ، فحدّد الزواحف التي تريد أن تصل إلى صفحاتك، ودعها تمر من القواعد التي ترد بالتحدي.
- في Cloudflare، قاعدة مخصصة (custom rule) تضعها أولاً، بالتعبير
(cf.client.bot)والإجراء Skip، تجعل البوتات الموثّقة، مثل زواحف محركات البحث، تتجاوز قواعدك المخصصة الأخرى. أما Bot Fight Mode في الخطة المجانية فلا يُتجاوز بهذه الطريقة: أوقفه، أو انتقل إلى Super Bot Fight Mode في خطة Pro وما فوقها. - في AWS WAF، يأتي التحدي من قاعدة إجراؤها CAPTCHA أو Challenge: ضيّق ما تطابقه تلك القاعدة.
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /أسئلة شائعة
فحص زواحف الذكاء الاصطناعي يقرأ robots.txt وحده. أما هذه الأداة فتقرأ أيضاً ردّ موقعك على بوتنا، وهو قد يرفض زاحفاً يسمح له robots.txt: فقد ترد خدمة حماية من البوتات بتحدٍّ بدل الصفحة.
ليس بالضرورة. فالتحدي يأتي من قواعد تطبقها خدمة الحماية، وقد تسمح لبعض البوتات بالمرور، مثل البوتات الموثّقة التي تمررها قاعدة Skip من القواعد المخصصة في Cloudflare. ونحن لا نرى إلا الرد على طلبنا نحن، باسم ArablyzerBot، فتقول النتيجة إن زواحف الذكاء الاصطناعي قد تُرفض بالطريقة نفسها، لا إنها تُرفض.
لا يحاول Arablyzer أبداً تجاوز CAPTCHA ولا أي حماية من البوتات. وإذا كان الرد تحدياً، يقول التقرير إن الموقع منع الفحص، ولا نفحص محتوى الصفحة.
التي توثّق خدمتها علامة في الرد: الترويسة cf-mitigated: challenge من Cloudflare، التي يضعها على كل أنواع صفحات التحدي لديه، والترويسة x-amzn-waf-action من AWS WAF، بالقيمة challenge أو captcha. ولا نخمّن شيئاً من نص الصفحة، فلا نعدّ تحديات الخدمات الأخرى، ولا الرفض المجرد مثل 403، تحدياً.
ما تشغّله هذه الأداة
- robots.txt يمنع زواحف البحث بالذكاء الاصطناعيمتوسط
robots-blocks-ai-search - الموقع يرد على البوتات بتحدٍّمعلومة
bot-challenge
كيف نقيس
نجلب robots.txt للموقع ثم الصفحة باسم ArablyzerBot. ونقرأ robots.txt حسب RFC 9309 وبتسامح محلل Google مفتوح المصدر، حتى 500 كيلوبايت، ونتبع 5 تحويلات على الأكثر. ولكل زاحف بحث بالذكاء الاصطناعي في قائمتنا نختار المجموعة التي تسمّيه، أو مجموعة * إن لم توجد، ثم تحكم أطول قاعدة فيها تطابق مسار الصفحة. ونقرأ ردّ الصفحة أياً كانت حالته، ولا نعرف التحدي إلا بالترويسة التي توثّقها خدمته. وإذا كان الرد تحدياً، فلا يُقرأ على أنه الصفحة، ولا يفتحه أي متصفح، لأن تشغيل سكربته قد يجتازه. والتحدي معلومة، فلا تخصم القاعدة شيئاً؛ لكن الصفحة التي يرد عليها الموقع بتحدٍّ لم تُفحص، فلا درجة للفحص.