انتقل إلى المحتوى
تقرير فهرسة الصفحات في Search Console

«تم حظر عنوان URL باستخدام ملف robots.txt» في Search Console: المعنى والإصلاح

معنى رسالة «تم حظر عنوان URL باستخدام ملف robots.txt» في تقرير فهرسة الصفحات، وكيف تجد القاعدة التي تمنع Googlebot وتصلحها إن كنت تريد الصفحة في البحث.

الرسالة كما تظهر بالإنجليزية:URL blocked by robots.txtآخر تحديث

في هذه الصفحة

ماذا تعني

  • في ملف robots.txt لموقعك قاعدة تمنع Googlebot من الزحف إلى هذا الرابط، فلم يقرأ Google الصفحة ولم يفهرسها.
  • إن كنت تقصد منع الزحف، مثل لوحة الإدارة أو صفحات نتائج البحث الداخلي، فالرسالة تعني أن الملف يعمل كما أردت، ويقول Google إن هذه الروابط ممنوعة عن قصد في الغالب.
  • المشكلة أن تظهر الرسالة لصفحات تريدها في نتائج البحث.

لماذا تظهر

ملف robots.txt في جذر الموقع (/robots.txt)، ويختار Googlebot منه مجموعة القواعد التي تسمّيه، أو مجموعة * إن لم توجد، ثم تحكم أطول قاعدة تطابق مسار الرابط. ومن أسباب المنع غير المقصود:

  • Disallow: / بقي من نسخة التطوير بعد إطلاق الموقع، فمنع الموقع كله.
  • قاعدة أوسع مما تظن: مسار القاعدة يطابق كل رابط يبدأ به، فالقاعدة Disallow: /ar تمنع /ar/ و/archive معاً.
  • مجموعة تسمّي Googlebot وفيها منع: يتبعها Googlebot وحدها، ويترك مجموعة * التي تبدو سليمة.
  • القاعدة في ملف غير الذي راجعته: لكل مضيف وبروتوكول ومنفذ ملفه الخاص، فصفحة على shop.example.com يحكمها الملف shop.example.com/robots.txt.

كيف تُصلح

احذف القاعدة التي تمنع الصفحة، أو ضيّقها على ما تريد منعه فعلاً:

robots-txt
User-agent: *
# كانت Disallow: /ar فمنعت كل مسار يبدأ بـ /ar
Disallow: /ar/drafts/
  • إن كان نظام إدارة المحتوى أو إضافة SEO يولّد الملف، فعدّله من إعداداتهما؛ فبعض المنصات المستضافة لا تتيح تعديله مباشرة.
  • راجع كل مجموعة تسمّي Googlebot، لا مجموعة * وحدها.
  • احفظ الملف بترميز UTF-8، وارفعه إلى جذر الموقع باسم robots.txt.
  • إن أردت إخفاء الصفحة من النتائج لا منع الزحف إليها، فلا تستخدم robots.txt: استخدم noindex واترك الصفحة مفتوحة للزحف.

كيف تتحقق من الإصلاح

  • افحص الصفحة بأداة فحص robots.txt في Arablyzer: تقرأ الملف وتبيّن هل يمنع Googlebot من الصفحة، وبأي قاعدة وفي أي سطر. ولتفحص معه noindex في الصفحة نفسها استخدم أداة فحص قابلية الأرشفة.
  • في Search Console افتح تقرير ملفات robots.txt لترى النسخة التي جلبها Google، واطلب منه إعادة الزحف إلى الملف؛ وإلا فإن Google يحدّث نسخته المخزنة كل 24 ساعة.
  • افتح أداة فحص عنوان URL، وشغّل الاختبار المباشر للرابط، لترى هل ما زال الزحف ممنوعاً.
  • ثم اطلب الفهرسة من الأداة نفسها، واطلب من تقرير فهرسة الصفحات التحقق من الإصلاح.

أسئلة شائعة

هل يكفي منع الصفحة في robots.txt لإخفائها من نتائج البحث؟

لا. robots.txt يمنع Google من قراءة الصفحة، لا من فهرسة رابطها: قد يظهر الرابط في النتائج بلا وصف إن أشارت إليه صفحات أخرى. لإخفاء صفحة احذف منعها من robots.txt وأضف إليها noindex، لأن Google لا يرى noindex في صفحة ممنوعة من الزحف.

ما الفرق بين هذه الرسالة و«تمت فهرسة الصفحة علمًا أنّها محظورة باستخدام ملف robots.txt»؟

الرسالة الأخرى تحذير لا خطأ: فهرس Google الرابط رغم منعه، لأن صفحات أخرى تشير إليه، ففهرسه من معلوماتها دون أن يزحف إلى الصفحة، ووصفه في النتائج محدود على الأرجح. إن أردت الصفحة في البحث فاحذف المنع، وإن لم تردها فاحذف المنع وأضف noindex.

كيف أكتب المسارات العربية في robots.txt؟

كما هي أو مرمّزة، فهما سواء عند Google: يحوّل Google المسار في القاعدة إلى صيغته المرمّزة (percent-encoding) قبل أن يقارنه بالرابط، فالقاعدة Disallow: /تصنيف/ تساوي Disallow: /%D8%AA%D8%B5%D9%86%D9%8A%D9%81/. المهم أن تحفظ الملف بترميز UTF-8، لأن Google قد يتجاهل الأحرف التي خارجه، فقد تفسد القاعدة.