اختبار robots.txt
الصق ملف robots.txt واكتب رابطاً، واعرف هل يصل إليه Googlebot أو زواحف الذكاء الاصطناعي.
- الصق وجرّب
- قاعدتان
- آخر تحديث
ماذا تفحص
- المجموعة التي تنطبق على الزاحف: التي تذكر اسمه، أو مجموعة
*إن لم تذكره مجموعة. - القاعدة التي تحكم الرابط: أطول نمط يطابقه، وتغلب
Allowعند التساوي، كما يفعل محلل Google. - الأنماط التي فيها
*و$: النجمة لأي سلسلة من الحروف، و$لنهاية الرابط. - الزواحف: Googlebot وBingbot، وزواحف البحث بالذكاء الاصطناعي مثل OAI-SearchBot وClaude-SearchBot وPerplexityBot، وزواحف التدريب مثل GPTBot وClaudeBot.
مثال
# Keep AI away from our content User-agent: Googlebot Allow: / User-agent: * Disallow: /
# Keep our content out of AI training only User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended Disallow: / User-agent: * Disallow: /cart/
كيف تُصلح
إن منع الملف زاحفاً تريده، فابحث عن القاعدة وسطرها كما يذكرهما الاختبار، وعدّلها. لتستثني مساراً من منع أوسع مثلاً، أضف Allow بنمط أطول منه، فالأطول يغلب:
- لتمنع تدريب النماذج دون البحث، سمِّ زواحف التدريب في مجموعة لها، مثل GPTBot وClaudeBot وGoogle-Extended، ولا تمنع الجميع بمجموعة
*. - لتسمح لزاحف بما تمنعه مجموعة
*، اكتب له مجموعة باسمه: الزاحف يتبع مجموعته وحدها ويترك*. - اختبر الرابط من جديد بعد كل تعديل، ثم ضع الملف في جذر موقعك، مثل
https://example.com/robots.txt.
User-agent: *
Disallow: /account/
Allow: /account/help/أسئلة شائعة
لا. يعمل الاختبار في متصفحك، ولا يغادره شيء مما تلصقه.
فحص robots.txt يجلب الملف المنشور في موقعك ويحكم به على صفحتك. هذا الاختبار يعمل على ملف تلصقه، فتجرّب تعديلاتك قبل نشرها، على أي رابط وأي زاحف.
ليس دائماً. هو يمنع الزحف لا الفهرسة: قد يُظهر Google رابط صفحة ممنوعة إن وجد روابط إليها، بلا وصف. لتبقي صفحة خارج النتائج، استعمل noindex واترك الزحف إليها مسموحاً.
لأن الزاحف، بحسب المعيار RFC 9309، يتبع المجموعة التي تذكر اسمه إن وُجدت، ولا يقرأ معها مجموعة *. لذلك إن كتبت له مجموعة، فاكتب فيها كل ما تريد منعه عنه.
ما تشغّله هذه الأداة
- robots.txt يمنع Googlebot من الصفحةحرِج
robots-blocks-googlebot - robots.txt يمنع زواحف البحث بالذكاء الاصطناعيمتوسط
robots-blocks-ai-search
كيف نقيس
يعمل الاختبار في متصفحك بالكود الذي تقرأ به قواعد robots.txt في Arablyzer الملفات، على طريقة محلل Google المفتوح المصدر والمعيار RFC 9309. نقرأ المجموعات وقواعدها، ونختار المجموعات التي تذكر الزاحف باسمه، دون اعتبار لحالة الأحرف، أو مجموعات * إن لم تذكره مجموعة، ونجمع قواعدها. ثم نطابق مسار الرابط واستعلامه بأنماط القواعد، ونأخذ أطول نمط مطابق، وتغلب Allow عند التساوي. الملف /robots.txt نفسه مسموح دائماً.