انتقل إلى المحتوى

robots.txt يرد بصفحة HTML

robots-txt-not-textبسيط
في هذه الصفحة

لماذا يهم

  • تقرأ الزواحف ملف robots.txt سطراً سطراً بحثاً عن User-agent وAllow وDisallow. صفحة HTML لا تحوي أياً منها، فيُقرأ الموقع كأنه بلا قواعد أصلاً.
  • يحدث هذا غالباً حين يرد تطبيق الموقع على كل عنوان لا يعرفه بصفحته الرئيسية، أو حين لا يوجد الملف وتعيد المنصة صفحة «غير موجود» بالحالة 200.
  • فإن كتبت قواعد لزواحف الذكاء الاصطناعي أو لمحركات البحث في ملف لا يصل، فلن يطبقها أحد.

كيف تُصلح

ضع ملفاً نصياً حقيقياً في جذر الموقع، يُرسل بالنوع text/plain:

text
User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

وفي التطبيقات التي ترد على كل عنوان بالصفحة نفسها (SPA)، استثنِ /robots.txt من ذلك التوجيه، أو قدّمه ملفاً ثابتاً قبله.

كيف نكشف

نقرأ robots.txt مرة واحدة في كل فحص، كما نقرؤه لبقية القواعد. وإذا ردّ بحالة 2xx ونوعه text/html أو application/xhtml+xml كانت مخالفة. ولا نحكم على الأنواع الأخرى: كثير من الخوادم ترسله بلا نوع أو بنوع عام، والزواحف تقرؤه رغم ذلك.