كيفية تأثّر "بحث Google" برموز حالة HTTP والأخطاء في الشبكة وفي نظام أسماء النطاقات

توضّح هذه الصفحة كيفية تأثّر "بحث Google" برموز حالة HTTP والأخطاء في الشبكة وفي نظام أسماء النطاقات. وسنتناول في هذه المقالة أهم 20 رمز حالة واجهها Googlebot على الويب، وأبرز أخطاء الشبكة ونظام أسماء النطاقات. ولا تشمل المقالة رموز الحالة الغريبة، مثل 418 (I'm a teapot). تعرض جميع المشاكل المذكورة في هذه الصفحة خطأً أو تحذيرًا مطابقًا لها في تقرير "فهرسة الصفحات" في Search Console.

رموز حالة HTTP

ينشئ الخادم الذي يستضيف الموقع الإلكتروني رموز حالة HTTP عندما يستجيب لطلب أجراه العميل، على سبيل المثال متصفّح أو زاحف. ولكل رمز من رموز حالة HTTP معنى مختلف، ولكن غالبًا ما تكون نتيجة الطلب واحدة. على سبيل المثال، هناك عدة رموز حالة تشير إلى إعادة التوجيه، ولكن نتائجها واحدة.

تنشئ خدمة Search Console رسائل خطأ لرموز الحالة في النطاق 4xx–5xx، ولعمليات إعادة التوجيه التي يتعذّر إتمامها (3xx). إذا ردّ الخادم برمز الحالة 2xx، يمكن النظر في إمكانية فهرسة المحتوى الذي تم استلامه في الاستجابة للفهرسة.

يتضمّن الجدول التالي أهم رموز حالة HTTP التي يواجهها Googlebot، بالإضافة إلى شرح حول كيفية تعامل Google مع كل رمز حالة.

رموز حالة HTTP

2xx (success)

يراجع محرّك بحث Google المحتوى وينظر في إمكانية فهرسته. إذا تضمّن المحتوى خطأً، مثل صفحة فارغة أو رسالة خطأ، ستعرض خدمة Search Console خطأ soft 404.

200 (success)

يحيل محرّك بحث Google المحتوى إلى مسار الفهرسة. وقد تفهرس أنظمة الفهرسة المحتوى، ولكن ذلك ليس مضمونًا.

201 (created)
202 (accepted)

ينتظر Googlebot المحتوى لفترة محدودة ثم يمرّر أي محتوى يتلقّاه إلى مسار الفهرسة. تعتمد المهلة على وكيل المستخدم، على سبيل المثال، قد تختلف مهلة "Googlebot للهواتف الذكية" عن مهلة "Googlebot للصور".

204 (no content)

يرسل Googlebot إشارة إلى مسار الفهرسة بأنّه لم يتلقَّ أي محتوى. قد تعرض خدمة Search Console الخطأ soft 404 في تقرير "فهرسة الصفحات" الخاص بالموقع الإلكتروني.

3xx (redirection)

يتّبع Googlebot ما يصل إلى 10 قفزات إعادة توجيه. إذا لم يتلقَّ الزاحف أي محتوى خلال 10 قفزات، ستعرض Search Console خطأً في إعادة التوجيه في تقرير "فهرسة الصفحات" الخاص بالموقع الإلكتروني. يعتمد عدد القفزات التي يتّبعها Googlebot على وكيل المستخدم، مثلاً، قد تختلف قيمة "Googlebot للهواتف الذكية" عن قيمة "Googlebot للصور".

في حال استخدام ملف robots.txt، يتّبع برنامج Googlebot ما لا يقل عن خمس قفزات إعادة توجيه على النحو المحدّد في RFC 1945، وبعد ذلك يتوقف ويعامل العملية باعتبارها 404 لملف robots.txt.

يتم تجاهل أي محتوى يستلمه Googlebot من عنوان URL لإعادة التوجيه، ويكون محتوى عنوان URL النهائي المستهدف هو المحتوى المؤهَّل للفهرسة.

301 (moved permanently)

يتتبّع Googlebot عملية إعادة التوجيه، أمّا مسار الفهرسة فيستخدم عملية إعادة التوجيه كإشارة قوية إلى أنّ عنوان URL المستهدف في إعادة التوجيه يجب أن يكون أساسيًا.

302 (found)

يتتبّع Googlebot عملية إعادة التوجيه. أمّا مسار الفهرسة، فيستخدم عملية إعادة التوجيه كإشارة ضعيفة إلى أنّ عنوان URL المستهدف في إعادة التوجيه يجب أن يكون أساسيًا.

303 (see other)
304 (not modified)

يرسل Googlebot إشارة إلى مسار الفهرسة بأنّ المحتوى هو نفسه المحتوى الذي تم الزحف إليه في المرة الأخيرة. يمكن أن يعيد مسار الفهرسة تقييم الإشارات الخاصة بعناوين URL، ولكن بخلاف ذلك، لا يؤثر رمز الحالة في عملية الفهرسة.

307 (temporary redirect) هذا الرمز مكافئ للرمز 302.
308 (moved permanently) هذا الرمز مكافئ للرمز 301.

4xx (client errors)

يَستبعد مسار الفهرسة في Google عناوين URL التي تعرض رمز حالة 4xx، وبالتالي لا يشملها في عملية الفهرسة، كما تُحذَف من الفهرس عناوين URL التي سبق أن تمت فهرستها والتي تعرض رمز حالة 4xx.

يتم تجاهل أي محتوى يستلمه Googlebot من عناوين URL تعرض رمز حالة 4xx.

400 (bad request)

يتم التعامل مع جميع أخطاء 4xx بطريقة واحدة، باستثناء 429: يرسل Googlebot إشارة إلى مسار الفهرسة بأنّ المحتوى غير متوفّر.

يزيل مسار الفهرسة عنوان URL من الفهرس إذا سبق أن تمت فهرسته. لا تتم معالجة صفحات 404 التي تم رصدها حديثًا. وينخفض معدّل الزحف تدريجيًا.

401 (unauthorized)
403 (forbidden)
404 (not found)
410 (gone)
411 (length required)
429 (too many requests)

يتعامل Googlebot مع رمز الحالة 429 على أنه إشارة إلى أن الخادم يواجه زيادة في التحميل، ويعتبره خطأ في الخادم.

5xx (server errors)

يطلب خطأ الخادم 5xx و429 من برامج زحف Google تخفيض معدّل الزحف مؤقّتًا. ويتم الاحتفاظ بعناوين URL التي سبق أن تمت فهرستها في الفهرس، ولكن يتم حذفها في النهاية.

إذا استمر ملف robots.txt بعرض رمز حالة خطأ في الخادم لأكثر من 30 يومًا، سيستخدم محرّك بحث Google آخر نسخة مخزّنة مؤقتًا من ملف robots.txt. وإذا لم تتوفّر نسخة مخزّنة مؤقتًا، يفترض محرّك بحث Google أنّه لم يتم فرض أي قيود على عملية الزحف.

يتم تجاهل أي محتوى يستلمه Googlebot من عناوين URL تعرض رمز حالة 5xx.

500 (internal server error)

يخفّض Googlebot معدّل الزحف إلى الموقع الإلكتروني. ويكون مقدار الانخفاض في معدل الزحف متناسبًا مع عدد عناوين URL الفردية التي تعرض خطأ في الخادم. يزيل مسار الفهرسة في Google عناوين URL التي تعرض باستمرار خطأ في الخادم من الفهرس.

502 (bad gateway)
503 (service unavailable)

أخطاء soft 404

خطأ soft 404 هو عندما يعرض عنوان URL صفحة تُعلِم المستخدم بأنّ الصفحة غير متوفّرة كما يعرض رمز حالة 200 (success). وأحيانًا، قد يتم عرض صفحة لا تشتمل على محتوى أساسي أو صفحة فارغة.

قد ينشئ خادم الويب أو نظام إدارة محتوى الموقع الإلكتروني أو المتصفّح الخاص بالمستخدم هذا النوع من الصفحات لأسباب مختلفة. مثلاً:

  • عدم توفّر ملف تضمينات جانب الخادم
  • انقطاع الاتصال بقاعدة البيانات
  • عدم توفّر محتوى في صفحة نتائج البحث الداخلية
  • ملف JavaScript تم إلغاء تحميله أو لم يعُد متوفّرًا لسبب آخر

إنّ عرض رمز الحالة 200 (success)، ثم عرض أو اقتراح رسالة خطأ أو أي نوع من الأخطاء على الصفحة، يترك انطباعًا سيئًا لدى المستخدمين. قد يظن المستخدمون أنّ الصفحة منشورة ومتاحة، ولكن في الواقع يتم عرض خطأ ما. يتم استبعاد هذا النوع من الصفحات من "بحث Google".

عندما تكتشف خوارزميات Google أنّ الصفحة هي في الواقع صفحة خطأ استنادًا إلى محتواها، ستعرض خدمة Search Console خطأ soft 404 في تقرير "فهرسة الصفحات" للموقع الإلكتروني.

إصلاح أخطاء soft 404

استنادًا إلى حالة الصفحة والنتيجة المرجوّة، يمكنك حلّ أخطاء soft 404 بعدة طرق:

حاوِل تحديد الحلّ الأنسب للمستخدمين.

الصفحة والمحتوى لم يعودا متوفّرين

إذا أزلت الصفحة ولم توفّر صفحة بديلة على موقعك الإلكتروني تتضمّن محتوًى مشابهًا، اعرض رمز الاستجابة (الحالة) 404 (not found) أو 410 (gone) للصفحة. تُعلم رموز الحالة هذه محركات البحث بأنّ الصفحة غير متوفّرة ويجب عدم فهرسة المحتوى.

إذا كان بإمكانك الوصول إلى ملفات إعداد الخادم، يمكنك تخصيص صفحات الخطأ هذه كي تصبح ذات فائدة للمستخدمين. مثلاً، يمكن لصفحة 404 المخصّصة بشكل جيد أن تساعد المستخدمين في العثور على المعلومات التي يبحثون عنها، وتوفّر لهم أيضًا محتوًى مفيدًا وتشجّعهم على استكشاف موقعك الإلكتروني بشكل أكبر. في ما يلي بعض النصائح حول تصميم صفحة 404 مخصّصة ومفيدة:

  • أخبِر الزائرين بشكل واضح أن الصفحة التي يبحثون عنها لا يمكن العثور عليها. استخدِم لغةً لطيفة.
  • تأكَّد من أن صفحة 404 تتّبع الشكل والأسلوب نفسيهما (بما في ذلك أدوات التنقل) مثل سائر صفحات موقعك الإلكتروني.
  • نقترح عليك إضافة روابط إلى مقالاتك أو مشاركاتك الأكثر رواجًا، بالإضافة إلى رابط يؤدي إلى الصفحة الرئيسية على موقعك الإلكتروني.
  • نقترح عليك توفير طريقة للمستخدمين تتيح لهم الإبلاغ عن أي رابط معطَّل.

إنّ صفحات 404 المخصصة يتم إنشاؤها للمستخدمين فقط. وبما أنّ هذه الصفحات غير مفيدة بالنسبة إلى محرّكات البحث، تأكَّد من أنّ الخادم يعرض رمز حالة HTTP من فئة 404 لمنع فهرسة هذه الصفحات.

تتوفّر الصفحة أو المحتوى في مكان آخر حاليًا

إذا تم نقل صفحتك أو كان لها بديل واضح على موقعك الإلكتروني، يمكنك عرض 301 (permanent redirect) لإعادة توجيه المستخدم. لن يؤثر هذا الإجراء في تجربة التصفّح، كما أنه يوفّر طريقة رائعة لإعلام محركات البحث بالمكان الجديد للصفحة. يمكنك استخدام أداة فحص عنوان URL للتأكّد مما إذا كان عنوان URL يعرض الرمز الصحيح أم لا.

الصفحة والمحتوى لا يزالان متوفّرَين

إذا تم تصنيف صفحتك على نحو غير صحيح ضمن الصفحات التي تحتوي على الخطأ soft 404، من المحتمل أنّه لم يتم تحميلها بشكل مناسب ليكتشفها برنامج Googlebot أو أنّها لم توفّر بعض الموارد المهمة أو عرضت رسالة خطأ بارزة أثناء العرض. يمكنك استخدام أداة فحص عنوان URL لفحص المحتوى ورمز HTTP المعروضَين. وإذا كانت الصفحة المعروضة فارغة أو تتضمن قدرًا قليلاً من المحتوى أو إذا عرض المحتوى رسالة خطأ، قد يكون السبب أنّها توجّه المستخدمين إلى عدد كبير من الموارد التي يتعذّر تحميلها (الصور والنصوص البرمجية وغير ذلك من العناصر غير النصية) ما يمكن تفسيره على أنه خطأ soft 404. أحد الأسباب التي قد تمنع تحميل الموارد هي أنّ هذه الموارد محظورة (باستخدام ملف robots.txt)، وقد يكون السبب أيضًا إضافة عدد كبير من الموارد في الصفحة أو أخطاء مختلفة في الخادم أو التحميل البطيء أو الموارد الكبيرة الحجم.

الأخطاء في الشبكة وفي نظام أسماء النطاقات

تؤدي الأخطاء في الشبكة وفي نظام أسماء النطاقات إلى التأثير سلبًا وبسرعة في مدى ظهور عنوان URL في "بحث Google‏". يتعامل Googlebot مع مُهَل الشبكة وعمليات إعادة ضبط الاتصال وأخطاء نظام أسماء النطاقات بالطريقة نفسها التي يتم التعامل بها مع الأخطاء 5xx في الخادم. في حال حدوث أخطاء في الشبكة، يبدأ معدّل الزحف بالانخفاض على الفور، لأنّ حدوث خطأ في الشبكة يشير إلى عدم قدرة الخادم على معالجة العبء الزائد للعرض. وبما أنّ محرّك بحث Google لم يتمكّن من الوصول إلى الخادم الذي يستضيف الموقع الإلكتروني، يعني ذلك أيضًا أنّه لم يتلقَّ أي محتوى من الخادم. في حال عدم توفّر أي محتوى، سيتعذّر على محرّك بحث Google فهرسة عناوين URL التي تم الزحف إليها، وخلال أيام ستُحذف من فهرس Google عناوين URL التي سبق وتمت فهرستها، وذلك في حال لم يعُد بالإمكان الوصول إليها. وقد تعرض خدمة Search Console أخطاء لكل خطأ بدوره.

تصحيح أخطاء الشبكة

تحدث هذه الأخطاء قبل أن يبدأ محرّك بحث Google في الزحف إلى عنوان URL أو أثناء الزحف إلى عنوان URL. وبما أن الأخطاء قد تحدث قبل أن يتمكّن الخادم من الاستجابة وبالتالي لا يتوفّر رمز حالة يمكن أن يشير إلى المشاكل، قد يكون تشخيص هذه الأخطاء أكثر صعوبة. لتصحيح أخطاء انتهاء مهلة الشبكة وإعادة ضبط الاتصال:

  • اطّلِع على إعدادات جدار الحماية وسجلّاته. من المحتمل أنه قد تم استخدام مجموعة قواعد منع واسعة النطاق بشكل مفرط. تأكَّد من عدم حظر عناوين IP لبرنامج Googlebot من خلال أي من قواعد جدار الحماية.
  • اطّلِع على حركة بيانات الشبكة. استخدِم أدوات مثل tcpdump وWireshark لالتقاط حزم TCP وتحليلها، وابحث عن القيم الشاذة التي تشير إلى وجود مكوّن شبكة معيّن أو وحدة خادم معيّنة.
  • إذا لم تجد أي أمر مريب، تواصَل مع شركة الاستضافة.

قد يكون الخطأ ضمن أي مكوّن في الخادم يتعامل مع حركة بيانات الشبكة. على سبيل المثال، واجهات الشبكة التي تواجه زيادة في التحميل قد تستبعد الحزم التي تؤدي إلى انتهاء المهلة (عدم القدرة على إنشاء اتصال) وإعادة ضبط الاتصالات (يتم إرسال الحزمة RST بسبب إغلاق منفذ ما عن طريق الخطأ).

تصحيح الأخطاء في نظام أسماء النطاقات

غالبًا ما تحدث أخطاء نظام أسماء النطاقات بسبب خطأ في الإعداد، ولكنها قد تنتج أيضًا عن قاعدة جدار حماية تحظر طلبات بحث نظام أسماء النطاقات لبرنامج Googlebot. لتصحيح الأخطاء في نظام أسماء النطاقات، يمكنك اتّباع الإجراءات التالية:

  • افحص قواعد جدار الحماية. تأكّد من عدم حظر أي من عناوين IP التي تستخدمها Google من خلال أي من قواعد جدار الحماية، وأنّ طلبَيUDP وTCP مسموح بهما.
  • اطّلِع على سجلّات نظام أسماء النطاقات. تأكَّد من أنّ سجلّات A وCNAME تشير إلى عنوان IP واسم المضيف الصحيحَين على التوالي. مثلاً: 
    dig +nocmd example.com a +noall +answer
    dig +nocmd www.example.com cname +noall +answer
  • تحقَّق من أنّ جميع خوادم الأسماء تشير إلى عناوين IP الصحيحة لموقعك الإلكتروني. مثلاً: 
    dig +nocmd example.com ns +noall +answer
example.com.    86400  IN  NS  a.iana-servers.net.
example.com.    86400  IN  NS  b.iana-servers.net.
dig +nocmd @a.iana-servers.net example.com +noall +answer
example.com.    86400  IN  A  93.184.216.34
dig +nocmd @b.iana-servers.net example.com +noall +answer
...
  • إذا أجريت تغييرات على إعدادات نظام أسماء النطاقات خلال الـ 72 ساعة الأخيرة، قد تحتاج إلى الانتظار حتى يتم نشر هذه التغييرات في شبكة نظام أسماء النطاقات العالمية. لتسريع عملية النشر، يمكنك محو ذاكرة التخزين المؤقت الخاصة بنظام أسماء النطاقات العام من Google.
  • إذا كنت تشغّل خادم نظام أسماء النطاقات الخاص بك، تأكّّد من أنّه سليم ولا يواجه زيادة في التحميل.