Google के सामान्य क्रॉलर की सूची

Google के सामान्य क्रॉलर का इस्तेमाल जानकारी खोजने के लिए किया जाता है. इनसे Google के Search इंडेक्स बनाने, किसी खास प्रॉडक्ट को क्रॉल करने, और विश्लेषण करने में मदद मिलती है. अपने-आप क्रॉल करते समय क्रॉलर, हमेशा robots.txt के नियमों का पालन करते हैं. Google के क्रॉलर की सामान्य तकनीकी प्रॉपर्टी, सामान्य क्रॉलर पर भी लागू होती हैं.

सामान्य क्रॉलर, आम तौर पर googlebot.json ऑब्जेक्ट और उनके crawl-***-***-***-***.googlebot.com या geo-crawl-***-***-***-***.geo.googlebot.com होस्टनेम से मैच करने वाले रिवर्स डीएनएस मास्क में पब्लिश की गई आईपी रेंज से क्रॉल करते हैं.

यहां दी गई सूची में, सामान्य क्रॉलर, एचटीटीपी अनुरोधों में दिखने वाली उनकी उपयोगकर्ता एजेंट स्ट्रिंग, robots.txt में User-agent: लाइन के लिए उनके उपयोगकर्ता एजेंट टोकन, और उन प्रॉडक्ट की जानकारी दी गई है जिन पर क्रॉलर की क्रॉल से जुड़ी प्राथमिकताओं का असर पड़ता है. कुछ क्रॉलर के पास एक से ज़्यादा उपयोगकर्ता एजेंट टोकन होते हैं. किसी नियम को लागू करने के लिए, आपको एक ही क्रॉलर टोकन का मिलान कराना होगा. यह सूची पूरी नहीं हैं. इसमें सिर्फ़ ऐसे अनुरोधकर्ता मौजूद हैं जो लॉग फ़ाइलों में दिख सकते हैं और जिनके बारे में हमसे सवाल पूछे गए हैं.

एचटीटीपी अनुरोधों में User-Agent
Googlebot स्मार्टफ़ोन 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot डेस्कटॉप 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

कभी-कभी:

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन Googlebot
robots.txt ग्रुप का उदाहरण 
user-agent: Googlebot
allow: /archive/1Q84
disallow: /archive
वे प्रॉडक्ट जिन पर असर पड़ता है Googlebot उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग, Google Search पर असर डालती हैं. इसमें 'डिस्कवर' और Google Search की सभी सुविधाएं शामिल हैं. साथ ही, इनसे Google इमेज, Google वीडियो, Google News, और 'डिस्कवर' जैसे अन्य प्लैटफ़ॉर्म पर भी असर पड़ता है.
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट 
Googlebot-Image/1.0
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन Googlebot-Image
Googlebot
robots.txt ग्रुप का उदाहरण 
user-agent: Googlebot-Image
allow: /archive/1Q84
disallow: /archive/moons.jpg
वे प्रॉडक्ट जिन पर असर पड़ता है Googlebot-Image उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Google इमेज, डिस्कवर, Google वीडियो, और Google Search की उन सभी सुविधाओं पर पड़ता है जहां इमेज, लोगो, और फ़ेविकॉन दिखते हैं.
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट 
Googlebot-Video/1.0
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन Googlebot-Video
Googlebot
robots.txt ग्रुप का उदाहरण 
user-agent: Googlebot-Video
allow: /archive/1Q84
disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है Googlebot-Video उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, वीडियो से जुड़ी Google Search की सुविधाओं और वीडियो पर निर्भर करने वाले अन्य प्रॉडक्ट पर पड़ता है.
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट Googlebot-News के लिए, एचटीटीपी अनुरोध वाली कोई अलग उपयोगकर्ता एजेंट स्ट्रिंग नहीं होती है. क्रॉल करने की प्रोसेस, Googlebot की कई उपयोगकर्ता एजेंट स्ट्रिंग का इस्तेमाल करके की जाती है.
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन Googlebot-News
Googlebot
robots.txt ग्रुप का उदाहरण 
user-agent: Googlebot-News
allow: /archive/1Q84
disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है Googlebot-News उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Google News प्रॉडक्ट पर पड़ता है. इनमें news.google.com और Google News ऐप्लिकेशन शामिल हैं.
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट
डेस्कटॉप एजेंट 
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
मोबाइल एजेंट 
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन Storebot-Google
robots.txt ग्रुप का उदाहरण 
user-agent: Storebot-Google
allow: /archive/1Q84
disallow: /archive/konbini
वे प्रॉडक्ट जिन पर असर पड़ता है Storebot-Google उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Google Shopping के सभी प्लैटफ़ॉर्म पर पड़ता है (उदाहरण के लिए, Google Search और Google Shopping में मौजूद Shopping टैब).
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट
डेस्कटॉप एजेंट 
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
मोबाइल एजेंट 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन Google-InspectionTool
Googlebot
robots.txt ग्रुप का उदाहरण 
user-agent: Google-InspectionTool
allow: /archive/1Q84
disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है Google-InspectionTool उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Search टेस्टिंग टूल पर पड़ता है. उदाहरण के लिए, ज़्यादा बेहतर नतीजे (रिच रिज़ल्ट) की जांच और Search Console में यूआरएल की जांच. इसका असर, Google Search या दूसरे प्रॉडक्ट पर नहीं पड़ता.
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन GoogleOther
robots.txt ग्रुप का उदाहरण 
user-agent: GoogleOther
allow: /archive/1Q84
disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है GoogleOther उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, किसी खास प्रॉडक्ट पर नहीं पड़ता. GoogleOther, एक सामान्य क्रॉलर है. अलग-अलग प्रॉडक्ट की टीमें, साइटों से सार्वजनिक तौर पर ऐक्सेस किया जा सकने वाला कॉन्टेंट फ़ेच करने के लिए इसका इस्तेमाल कर सकती हैं. उदाहरण के लिए, इंटरनल रिसर्च और डेवलपमेंट के लिए, इसका इस्तेमाल किसी एक क्रॉल में किया जा सकता है. इसका असर, Google Search या दूसरे प्रॉडक्ट पर नहीं पड़ता.
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट 
GoogleOther-Image/1.0
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन GoogleOther-Image
GoogleOther
robots.txt ग्रुप का उदाहरण 
user-agent: GoogleOther-Image
allow: /archive/1Q84
disallow: /archive/moon.jpg
वे प्रॉडक्ट जिन पर असर पड़ता है GoogleOther-Image उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, GoogleOther जैसे किसी खास प्रॉडक्ट पर नहीं पड़ता. GoogleOther-Image, GoogleOther का ऐसा वर्शन है जिसे सार्वजनिक रूप से ऐक्सेस किए जा सकने वाली इमेज के यूआरएल फ़ेच करने के लिए ऑप्टिमाइज़ किया गया है.
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट 
GoogleOther-Video/1.0
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन GoogleOther-Video
GoogleOther
robots.txt ग्रुप का उदाहरण 
user-agent: GoogleOther-Video
allow: /archive/1Q84
disallow: /archive
वे प्रॉडक्ट जिन पर असर पड़ता है GoogleOther-Video उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, GoogleOther जैसे किसी खास प्रॉडक्ट पर नहीं पड़ता. GoogleOther-Video, GoogleOther का वर्शन है, जिसे सार्वजनिक रूप से ऐक्सेस किए जा सकने वाले वीडियो के यूआरएल फ़ेच करने के लिए ऑप्टिमाइज़ किया गया है.
एचटीटीपी अनुरोधों में उपयोगकर्ता एजेंट की सबस्ट्रिंग 
Google-CloudVertexBot
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन Google-CloudVertexBot
Googlebot
robots.txt ग्रुप का उदाहरण 
user-agent: Google-CloudVertexBot
allow: /archive/1Q84
disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है Google-CloudVertexBot उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Vertex AI एजेंट बनाने के लिए, साइट के मालिक के अनुरोध पर किए गए क्रॉल पर पड़ता है. इसका असर, Google Search या दूसरे प्रॉडक्ट पर नहीं पड़ता.
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट Google-एक्सटेंडेड के लिए, अलग से एचटीटीपी अनुरोध वाली कोई उपयोगकर्ता एजेंट स्ट्रिंग नहीं होती है. क्रॉल करने की प्रोसेस, Google की मौजूदा उपयोगकर्ता एजेंट स्ट्रिंग का इस्तेमाल करके की जाती है. robots.txt वाले उपयोगकर्ता एजेंट टोकन का इस्तेमाल, सीमित क्षमता में किया जाता है.
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन Google-Extended
robots.txt ग्रुप का उदाहरण 
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है

Google-Extended एक स्टैंडअलोन प्रॉडक्ट टोकन है जिसका इस्तेमाल करके वेब पब्लिशर यह मैनेज कर सकते हैं कि Google उनकी साइटों से क्रॉल किए गए कॉन्टेंट का इस्तेमाल, Gemini Apps और Gemini के लिए Vertex AI API को बेहतर बनाने वाले, Gemini मॉडल के आने वाले समय के वर्शन को ट्रेनिंग देने के लिए किया जा सकता है या नहीं. साथ ही, Gemini Apps और Vertex AI पर Google Search की मदद से भरोसेमंद स्रोतों से जानकारी लेने की सुविधा में, कॉन्टेंट को Google Search के इंडेक्स से मॉडल को तुरंत उपलब्ध कराने के लिए भी किया जा सकता है.

Google-Extended की वजह से, Google Search में किसी साइट को शामिल करने या उसकी रैंकिंग पर कोई असर नहीं पड़ता. साथ ही, इसका इस्तेमाल Google Search में रैंकिंग सिग्नल के तौर पर भी नहीं किया जाता.

उपयोगकर्ता एजेंट में, Chrome/W.X.Y.Z के बारे में जानकारी

सूची में उपयोगकर्ता एजेंट स्ट्रिंग में Chrome/W.X.Y.Z स्ट्रिंग एक प्लेसहोल्डर है. यह बताता है कि उस उपयोगकर्ता एजेंट ने Chrome ब्राउज़र के किस वर्शन का इस्तेमाल किया है: उदाहरण के लिए, 41.0.2272.96. यह वर्शन नंबर, समय के साथ बढ़ता है, ताकि Chromium के रिलीज़ हुए उस नए वर्शन से मैच कर सके जिसका इस्तेमाल Googlebot करता है.

अगर आपको इस पैटर्न वाले किसी उपयोगकर्ता एजेंट के लिए, अपना लॉग खोजना है या सर्वर को फ़िल्टर करना है, तो आप उस वर्शन के लिए सटीक वर्शन नंबर देने की जगह वाइल्डकार्ड का इस्तेमाल करें.