انتقل إلى المحتوى
تقرير فهرسة الصفحات في Search Console

«تمت فهرسة الصفحة علمًا أنّها محظورة باستخدام ملف robots.txt» في Search Console: المعنى والإصلاح

معنى رسالة «تمت فهرسة الصفحة علمًا أنّها محظورة باستخدام ملف robots.txt» في تقرير فهرسة الصفحات، ولماذا يفهرس Google صفحة لا يزحف إليها، وكيف تصلحها حسب ما تريده للصفحة.

الرسالة كما تظهر بالإنجليزية:Indexed, though blocked by robots.txtآخر تحديث

في هذه الصفحة

ماذا تعني

  • فهرس Google عنوان الصفحة، مع أن ملف robots.txt يمنعه من الزحف إليها.
  • لا يطلب Google الصفحة المحظورة ولا يزحف إليها، لكنه يفهرسها بالمعلومات التي يأخذها من الصفحات التي تحمل روابط إليها.
  • لذلك يقول Google إن المقتطف الذي يظهر لها في نتائج البحث سيكون محدوداً جداً على الأرجح.
  • تقع الرسالة في مجموعة «تحذير»: لا تمنع فهرسة الصفحة، لكنها تحدّ من قدرة Google على فهمها.

لماذا تظهر

الملف robots.txt يتحكم في الزحف، لا في الفهرسة. ويحذّر Google من استعماله لإخفاء الصفحات من نتائج البحث: إن أشارت صفحات أخرى إلى صفحتك بنص واصف، فقد يفهرس Google العنوان دون أن يزور الصفحة.

فالرسالة تعني أن الصفحة ممنوعة في robots.txt وأن رابطاً إليها وصل إلى Google من مكان آخر، من موقعك أو من موقع غيرك.

كيف تُصلح

الإصلاح يتبع ما تريده للصفحة:

  • تريدها في نتائج البحث: أزل القاعدة التي تمنعها من robots.txt، أو ضيّقها حتى لا تشمل هذه الصفحة. وتساعدك أداة اختبار robots.txt على معرفة القاعدة التي تمنعها.
  • لا تريدها في نتائج البحث: أزل القاعدة من robots.txt وأضف noindex إلى الصفحة. يقول Google إن robots.txt ليس الآلية المناسبة لتجنب الفهرسة.
txt
# قبل: يمنع الزحف، فلا يرى Google وسم noindex في الصفحة
User-agent: *
Disallow: /offers/

# بعد: لا منع، والصفحة نفسها تحمل noindex
User-agent: *
Disallow:
html
<meta name="robots" content="noindex" />

أو أرسل الترويسة X-Robots-Tag: noindex مع ردّ الصفحة، وهي مفيدة للملفات التي ليست HTML مثل PDF.

والترتيب مهم: يشترط Google لعمل noindex ألا تكون الصفحة محظورة في robots.txt، وإلا لم يرَ الزاحف الوسم ولا الترويسة، وقد تبقى الصفحة في النتائج، ومنها حين تحمل صفحات أخرى روابط إليها. وإن كانت الصفحة سرّية فعلاً فاحمها بكلمة مرور، فهذا ما يوصي به Google مع noindex.

كيف تتحقق من الإصلاح

  • افتح فاحص robots.txt وتأكد أن الرابط لم يعد ممنوعاً على Googlebot، وراجع فاحص قابلية الفهرسة إن أضفت noindex.
  • في Search Console افتح أداة فحص عنوان URL، وشغّل الاختبار المباشر، وتأكد أن noindex يظهر في النتيجة إن كنت تريد استبعاد الصفحة.
  • ثم اطلب من تقرير فهرسة الصفحات التحقق من الإصلاح. وتخرج الصفحة من الفهرس بعد أن يزحف إليها Google من جديد، فلا تتوقع ذلك فوراً.

أسئلة شائعة

هل يمنع robots.txt فهرسة الصفحة؟

لا. يمنع الزحف إليها فقط. يقول Google إن الصفحة المحظورة قد يبقى عنوانها ظاهراً في النتائج، وتُعرض بمقتطف محدود، إن وجد Google عنها معلومات في صفحات أخرى.

هل أحتاج إلى إصلاح هذه الرسالة؟

حسب الصفحة. إن كانت صفحة تريد ظهورها فأزل المنع. وإن كانت مما تحجبه عن قصد، مثل صفحات الحساب أو السلة، فاترك الرسالة ولكن أضف noindex ولا تعتمد على robots.txt وحده.

أزلت الحظر وأضفت noindex، فلماذا ما زالت الصفحة ظاهرة؟

لأن Google لم يعد إلى الصفحة بعد. ينبغي أن يزحف إليها ليقرأ noindex. ويمكنك طلب إعادة الفهرسة من أداة فحص عنوان URL لتسريع ذلك.