نظرة عامة على برامج الزحف وبرامج الجلب من Google (برامج وكيل المستخدم)

تستخدم Google برامج الزحف والجلب لتنفيذ الإجراءات الخاصة بمنتجاتها، سواء بشكل تلقائي أو استنادًا إلى طلب المستخدم. "برنامج الزحف" أو "الزاحف" (يُسمّى أيضًا "الروبوت" أو "العنكبوت") هو مصطلح عام لأي برنامج يتم استخدامه لاكتشاف المواقع الإلكترونية وفحصها تلقائيًا من خلال تتبُّع الروابط من صفحة ويب إلى أخرى. تعمل برامج الجلب كبرامج مثل wget التي تنشئ طلبًا واحدًا بالنيابة عن أحد المستخدمين. تندرج برامج الزحف من Google ضمن ثلاث فئات:

السمات الفنية لبرامج الزحف وبرامج الجلب من Google

تم تصميم برامج الزحف وبرامج الجلب من Google لتشغيلها على الآلاف من الأجهزة في الوقت نفسه بهدف تحسين أدائها وإمكاناتها مع تطوّر شبكة الويب. لتحسين استهلاك معدل نقل البيانات، يتم توزيع العملاء على عدّة مراكز بيانات حول العالم ليكونوا بالقرب من المواقع الإلكترونية التي قد تم الوصول إليها. بالتالي، قد تعرض سجلاتك الزيارات من عناوين IP متعدّدة. تصدر معظم زيارات الإنترنت على Google من عناوين IP تقع في الولايات المتحدة بشكل أساسي. وفي حال اكتشف محرك بحث Google أنّ موقعًا إلكترونيًا يحظر الطلبات من الولايات المتحدة، قد يحاول الزحف من عناوين IP تقع في بلدان أخرى.

تستخدم برامج الزحف وبرامج الجلب من Google ‫HTTP/1.1، ولكن قد تستخدم HTTP/2 إذا كان الموقع يتيح استخدام هذا البروتوكول. يمكن أن يساهم الزحف عبر HTTP/2 في توفير موارد الحوسبة (على سبيل المثال، وحدة المعالجة المركزية CPU وذاكرة الوصول العشوائي RAM) الخاصة بكل من الموقع الإلكتروني وGooglebot، لكن لن يستفيد الموقع الإلكتروني من أي مزايا خاصة بالمنتجات (مثل تحسين ترتيبه في "بحث Google"). لإيقاف الزحف عبر HTTP/2، يمكنك أن تطلب من الخادم الذي يستضيف موقعك الإلكتروني الاستجابة 421 برمز حالة HTTP ‏ عندما يحاول Google الوصول إلى موقعك الإلكتروني عبر HTTP/2. وإذا لم يكن ذلك قابلاً للتنفيذ، يمكنك إرسال رسالة إلى فريق برامج الزحف (إلا أنّ هذا الحل مؤقت).

تتوافق برامج الزحف وبرامج الجلب من Google مع ترميزات المحتوى التالية (عمليات الضغط) : gzip, deflate و Brotli (br). تتوفر ترميزات المحتوى المتوافقة مع كل وكيل مستخدم من Google Accept-Encoding في عنوان كل طلب يتم إجراؤه. على سبيل المثال: Accept-Encoding: gzip, deflate, br.

وهدفنا هو الزحف إلى أكبر عدد ممكن من صفحات موقعك الإلكتروني عند كل زيارة بدون تحميل الخادم عبئًا زائدًا. وإذا كان موقعك الإلكتروني يواجه صعوبة في الاستجابة لطلبات الزحف من Google، يمكنك خفض معدّل الزحف. يُرجى العِلم أنّ إرسال رمز استجابة HTTP غير ملائم إلى برامج الزحف من Google قد يؤثّر على طريقة ظهور موقعك الإلكتروني في منتجات Google.

التحقّق من برامج الزحف وبرامج الجلب من Google

يتم تحديد برامج الزحف من Google من خلال ثلاث طرق وهي:

1. عنوان طلب HTTP الخاص بـuser-agent
2. عنوان IP المصدر للطلب
3. نظام أسماء النطاقات العكسي لاسم المضيف الخاص بعنوان IP المصدر

كيفية استخدام هذه التفاصيل للتحقّق من برامج الزحف وبرامج الجلب من Google