क्रॉल होने की प्रोसेस से जुड़े भ्रम और तथ्य

सही

गलत

ऐसा नहीं होता. ज़िप किए गए साइटमैप को अब भी सर्वर से फ़ेच किया जाता है. इसलिए, असल में कंप्रेस किए गए साइटमैप भेजकर, क्रॉल करने में लगने वाले Google के समय या मेहनत को कम नहीं किया जा रहा है.

सही

गलत

Google Search, कॉन्टेंट की रेटिंग उसकी क्वालिटी से हिसाब से तय करता है न कि इस हिसाब से कि कॉन्टेंट कितना पुराना है. कॉन्टेंट बनाएं और उसे ज़रूरत के मुताबिक अपडेट करें. हालांकि, पेज की तारीख बदलने और पेज में छोटे-मोटे बदलाव करके, उसे नए के तौर पर दिखाने से कोई फ़ायदा नहीं होता.

सही

गलत

अगर आपका पेज उपयोगी है, तो इस बात से कोई फ़र्क़ नहीं पड़ता कि वह पुराना है या नया है.

सही

गलत

हम पैरामीटर क्रॉल कर सकते हैं.

सही

यह बात सही है कि हमारे रिसॉर्स, क्रॉल करने में लगने वाला समय और क्रॉल करने वाले बॉट की संख्या, दोनों मामलों में सीमित हैं. अगर हमें तय समय में ज़्यादा पेज दिखाए जाते हैं, तो हम उनमें से ज़्यादातर को क्रॉल कर लेंगे. हालांकि, ऐसा हो सकता है कि हम ज़्यादा उपयोगी साइट को क्रॉल करने में ज़्यादा समय लें. भले ही, वह धीरे क्यों न लोड होती हो. आपके लिए यह ज़्यादा अहम है कि आप साइट को अपने उपयोगकर्ताओं के लिए तेज़ बनाएं, न कि अपने क्रॉल कवरेज बढ़ाने के लिए. ऐसा करके यह आसानी से पक्का किया जा सकेगा कि Google हर बार आपकी साइट का सारे कॉन्टेंट को क्रॉल करने के बजाय, ज़रूरी कॉन्टेंट को क्रॉल करे. ध्यान दें कि साइट को क्रॉल करने की प्रोसेस में कॉन्टेंट को वापस पाना और रेंडर करना, दोनों शामिल होते हैं. पेज को रेंडर करने में उतना ही समय लगता है जितना समय पेज के लिए अनुरोध करने में लगता है. इसलिए, अपने पेज की रेंडर होने की रफ़्तार बढ़ाने से उसे क्रॉल करने की रफ़्तार भी बढ़ती है.

गलत

सही

गलत

अगर साइट पर ऐसा अहम कॉन्टेंट मौजूद है जो अक्सर बदलता रहता है, तो हम उसे अक्सर क्रॉल करते हैं. इससे फ़र्क़ नहीं पड़ता कि वह छोटी साइट है या बड़ी.

सही

कुछ हद तक सही

होम पेज आपकी साइट का सबसे अहम पेज होता है. इसलिए, होम पेज से लिंक किए गए पेज ज़्यादा अहम माने जा सकते हैं और हो सकता है कि उन्हें दूसरे पेजों के मुकाबले ज़्यादा बार क्रॉल किया जाए. हालांकि, इसका यह मतलब नहीं है कि इन पेजों को, आपकी साइट के दूसरे पेजों के मुकाबले ज़्यादा ऊंची रैंक दी जाएगी.

गलत

सही

कुछ हद तक सही

यूआरएल के अलग वर्शन का इस्तेमाल करके, Google को अपने उस पेज को फिर से क्रॉल करने के लिए कहा जा सकता है जो अभी हाल ही में क्रॉल किया गया था. हालांकि, यह तरीका हमेशा काम करे, यह ज़रूरी नहीं है. अगर पेज में असल और ज़्यादा बदलाव नहीं किए गए हैं, तो इससे क्रॉल करने के लिए ज़रूरी रिसॉर्स की बर्बादी होती है. अगर नए कॉन्टेंट के बारे में बताने के लिए एक से ज़्यादा वर्शन वाले यूआरएल का इस्तेमाल किया जाता है, तो हमारा सुझाव है कि आप पेज के कॉन्टेंट में बहुत ज़्यादा और ज़रूरी बदलाव करने के बाद ही यूआरएल को बदलें.

गलत

सही

साइट की रफ़्तार को बेहतर बनाने से, क्रॉल दर बढ़ने के साथ-साथ उपयोगकर्ताओं का अनुभव भी बेहतर होता है. Google के क्रॉलर के लिए, तेज़ी से लोड होने वाली साइट का मतलब यह है कि उसका सर्वर अच्छा है. इसलिए, वह कनेक्शन की संख्या सीमित होने पर भी ज़्यादा कॉन्टेंट क्रॉल कर सकता है. वहीं दूसरी ओर, ज़्यादा संख्या में 5xx एचटीटीपी रिस्पॉन्स स्टेटस कोड (सर्वर की गड़बड़ियां) दिखने या कनेक्शन के टाइम आउट होने से पता चलता है कि सर्वर ठीक से काम नहीं कर रहा है. इससे, क्रॉल करने की प्रोसेस धीमी हो जाती है. हमारा सुझाव है कि Search Console में मौजूद, क्रॉल करने के बारे में आंकड़ों की रिपोर्ट पर ध्यान दिया जाए. इससे, सर्वर की गड़बड़ियां कम करने में मदद मिलेगी.

गलत

सही

गलत

अपनी साइट की क्रॉल दर को बढ़ाने से, यह ज़रूरी नहीं है कि Google Search के खोज नतीजों में आपकी साइट की रैंक बेहतर हो जाएगी. Google किसी नतीजे की रैंक तय करने के लिए, कई सिग्नल इस्तेमाल करता है. हालांकि, क्रॉल करने की प्रोसेस, पेज को खोज नतीजों में दिखाने के लिए ज़रूरी है. हालांकि, यह कोई रैंकिंग सिग्नल नहीं है.

सही

आम तौर पर, Googlebot जिस यूआरएल को भी क्रॉल करता है उसे साइट के क्रॉल बजट में गिना जाता है. एएमपी या hreflang जैसे वैकल्पिक यूआरएल क्रॉल करना पड़ सकता है. साथ ही, सीएसएस और JavaScript जैसे एम्बेड किए गए कॉन्टेंट को भी क्रॉल करना पड़ सकता है, जिसमें XHR फ़ेच भी शामिल हैं. इसके लिए, साइट के क्रॉल बजट का इस्तेमाल किया जाएगा.

गलत

सही

गलत

"क्रॉल करने में देरी" वाले robots.txt के असामान्य नियम को Google के क्रॉलर प्रोसेस नहीं करते.

सही

कुछ हद तक सही

क्रॉल किया जाने वाला हर यूआरएल, क्रॉल बजट पर असर डालता है. इसलिए, अगर आपका पेज किसी यूआरएल को nofollow के तौर पर मार्क करता है, तो भी वह क्रॉल हो सकता है. ऐसा तब होगा, जब आपकी साइट का कोई दूसरा पेज या वेब पर मौजूद कोई पेज उस लिंक को nofollow के तौर पर मार्क नहीं करता.

गलत

सही

कुछ हद तक सही

क्रॉल किया जाने वाला हर यूआरएल, क्रॉल बजट पर असर डालता है. साथ ही, noindex नियम ढूंढने के लिए, Google को पेज को क्रॉल करना पड़ता है.

हालांकि, चीज़ों को इंडेक्स किए जाने से रोकने के लिए, noindex का इस्तेमाल किया जाता है. अगर आपको यह पक्का करना है कि ये पेज Google के इंडेक्स में शामिल न हों, तो noindex का इस्तेमाल करना जारी रखें और क्रॉल बजट के बारे में चिंता न करें. इस बात पर भी ध्यान देना ज़रूरी है कि अगर आपने noindex का इस्तेमाल करके या किसी और तरीके से यूआरएल को Google के इंडेक्स से हटाया है, तो Google के क्रॉलर आपकी साइट पर मौजूद अन्य यूआरएल पर फ़ोकस कर सकते हैं. इसका मतलब यह है कि आने वाले समय में noindex, सीधे तौर पर काम न करते हुए भी आपकी साइट का क्रॉल बजट बढ़ा सकता है.

गलत

सही

गलत

4xx एचटीटीपी स्टेटस कोड (429 के अलावा) दिखाने वाले पेज, क्रॉल बजट को बर्बाद नहीं करते हैं. Google ने इस पेज को क्रॉल करने की कोशिश की, लेकिन उसे स्टेटस कोड मिला, न कि कोई कॉन्टेंट.