انتقل إلى المحتوى

اختبار robots.txt

الصق ملف robots.txt واكتب رابطاً، واعرف هل يصل إليه Googlebot أو زواحف الذكاء الاصطناعي.

  • الصق وجرّب
  • قاعدتان
  • آخر تحديث

اختبار robots.txt

مجاني وبلا تسجيل، ويعمل في متصفحك: لا يغادره شيء مما تكتبه.

ماذا تفحص

  • المجموعة التي تنطبق على الزاحف: التي تذكر اسمه، أو مجموعة * إن لم تذكره مجموعة.
  • القاعدة التي تحكم الرابط: أطول نمط يطابقه، وتغلب Allow عند التساوي، كما يفعل محلل Google.
  • الأنماط التي فيها * و$: النجمة لأي سلسلة من الحروف، و$ لنهاية الرابط.
  • الزواحف: Googlebot وBingbot، وزواحف البحث بالذكاء الاصطناعي مثل OAI-SearchBot وClaude-SearchBot وPerplexityBot، وزواحف التدريب مثل GPTBot وClaudeBot.

مثال

خطأrobots.txt
# Keep AI away from our content
User-agent: Googlebot
Allow: /

User-agent: *
Disallow: /
صحيحrobots.txt
# Keep our content out of AI training only
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow: /cart/

كيف تُصلح

إن منع الملف زاحفاً تريده، فابحث عن القاعدة وسطرها كما يذكرهما الاختبار، وعدّلها. لتستثني مساراً من منع أوسع مثلاً، أضف Allow بنمط أطول منه، فالأطول يغلب:

  • لتمنع تدريب النماذج دون البحث، سمِّ زواحف التدريب في مجموعة لها، مثل GPTBot وClaudeBot وGoogle-Extended، ولا تمنع الجميع بمجموعة *.
  • لتسمح لزاحف بما تمنعه مجموعة *، اكتب له مجموعة باسمه: الزاحف يتبع مجموعته وحدها ويترك *.
  • اختبر الرابط من جديد بعد كل تعديل، ثم ضع الملف في جذر موقعك، مثل https://example.com/robots.txt.
robots.txt
User-agent: *
Disallow: /account/
Allow: /account/help/

أسئلة شائعة

لا. يعمل الاختبار في متصفحك، ولا يغادره شيء مما تلصقه.

فحص robots.txt يجلب الملف المنشور في موقعك ويحكم به على صفحتك. هذا الاختبار يعمل على ملف تلصقه، فتجرّب تعديلاتك قبل نشرها، على أي رابط وأي زاحف.

ليس دائماً. هو يمنع الزحف لا الفهرسة: قد يُظهر Google رابط صفحة ممنوعة إن وجد روابط إليها، بلا وصف. لتبقي صفحة خارج النتائج، استعمل noindex واترك الزحف إليها مسموحاً.

لأن الزاحف، بحسب المعيار RFC 9309، يتبع المجموعة التي تذكر اسمه إن وُجدت، ولا يقرأ معها مجموعة *. لذلك إن كتبت له مجموعة، فاكتب فيها كل ما تريد منعه عنه.

كيف نقيس

آخر تحديث المنهجية وحساب الدرجة

يعمل الاختبار في متصفحك بالكود الذي تقرأ به قواعد robots.txt في Arablyzer الملفات، على طريقة محلل Google المفتوح المصدر والمعيار RFC 9309. نقرأ المجموعات وقواعدها، ونختار المجموعات التي تذكر الزاحف باسمه، دون اعتبار لحالة الأحرف، أو مجموعات * إن لم تذكره مجموعة، ونجمع قواعدها. ثم نطابق مسار الرابط واستعلامه بأنماط القواعد، ونأخذ أطول نمط مطابق، وتغلب Allow عند التساوي. الملف /robots.txt نفسه مسموح دائماً.