لماذا يهم
- تقرأ الزواحف ملف robots.txt سطراً سطراً بحثاً عن
User-agentوAllowوDisallow. صفحة HTML لا تحوي أياً منها، فيُقرأ الموقع كأنه بلا قواعد أصلاً. - يحدث هذا غالباً حين يرد تطبيق الموقع على كل عنوان لا يعرفه بصفحته الرئيسية، أو حين لا يوجد الملف وتعيد المنصة صفحة «غير موجود» بالحالة 200.
- فإن كتبت قواعد لزواحف الذكاء الاصطناعي أو لمحركات البحث في ملف لا يصل، فلن يطبقها أحد.
كيف تُصلح
ضع ملفاً نصياً حقيقياً في جذر الموقع، يُرسل بالنوع text/plain:
text
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlوفي التطبيقات التي ترد على كل عنوان بالصفحة نفسها (SPA)، استثنِ /robots.txt من ذلك التوجيه، أو قدّمه ملفاً ثابتاً قبله.
كيف نكشف
نقرأ robots.txt مرة واحدة في كل فحص، كما نقرؤه لبقية القواعد. وإذا ردّ بحالة 2xx ونوعه text/html أو application/xhtml+xml كانت مخالفة. ولا نحكم على الأنواع الأخرى: كثير من الخوادم ترسله بلا نوع أو بنوع عام، والزواحف تقرؤه رغم ذلك.
المراجع
- RFC 9309: بروتوكول استبعاد الروبوتات (بالإنجليزية)
- Google: كيف يفسّر Google ملف robots.txt (بالإنجليزية)