التعريف
- ملف نصي باسم
robots.txtفي المجلد الأعلى للموقع، مثلhttps://example.com/robots.txt، يتبع بروتوكول استبعاد الروبوتات (Robots Exclusion Protocol) الذي صار معياراً باسم RFC 9309 سنة 2022. - يتألف من مجموعات: سطر
User-agentأو أكثر يسمّي الزواحف، ثم قواعدDisallowوAllowللمسارات. يتبع الزاحف المجموعة التي تحمل اسمه، وإلا فمجموعة*، وتُطبّق أطول قاعدة تطابق الرابط. - يسري على المضيف والبروتوكول والمنفذ الذي يُخدم منه فقط: ملف
https://example.com/robots.txtلا يشملhttps://shop.example.com/ولاhttp://example.com/.
لماذا يهم
- يُستعمل أساساً لكي لا تثقل الزواحف على الموقع، لا لإخفاء الصفحات: قد يفهرس Google رابطاً ممنوعاً إن أشارت إليه صفحات أخرى، فيظهر في النتائج بلا وصف.
- قواعده ليست حماية: الزواحف المحترمة تتبعها وغيرها قد لا يتبعها، وكل مسار تكتبه فيه يصير معروفاً لمن يقرأ الملف.
- في المواقع العربية احفظ الملف بترميز UTF-8، وإلا فقد يتجاهل Google ما ليس منه فتبطل القاعدة. ولكل نطاق فرعي ملفه، مثل
ar.example.comوen.example.com.
مثال
ملف لمتجر يمنع صفحات السلة ونتائج البحث الداخلي، ويدل على خريطة الموقع:
text
# https://example.com/robots.txt
User-agent: *
Disallow: /cart/
Disallow: /بحث/
Sitemap: https://example.com/sitemap.xmlيقارن Google القواعد بالروابط بعد ترميزها ترميزاً مئوياً، فيعامل Disallow: /بحث/ كما يعامل Disallow: /%D8%A8%D8%AD%D8%AB/.
أخطاء شائعة
Disallow: /في مجموعة*، بقيت من نسخة التطوير فمنعت الموقع كله.- منع صفحة فيها
noindexفي robots.txt: لن يرى Google القاعدة، وقد يبقى الرابط في النتائج. - كتابة
noindexأوcrawl-delayفي الملف: لا يدعم Google أياً منهما. - رد الخادم على طلب الملف بخطأ
5xx: يتوقف Google عن الزحف إلى الموقع كله في أول 12 ساعة.