Google के स्पेशल-केस क्रॉलर की सूची

जब क्रॉल की गई साइट और प्रॉडक्ट के बीच, क्रॉल करने की प्रोसेस के लिए कोई कानूनी समझौता होता है, तब Google के खास प्रॉडक्ट के लिए स्पेशल-केस क्रॉलर इस्तेमाल किए जाते हैं. उदाहरण के लिए, विज्ञापन पब्लिशर की अनुमति से AdsBot, robots.txt के ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ कर देता है. Google के क्रॉलर की सामान्य तकनीकी प्रॉपर्टी, स्पेशल-केस क्रॉलर पर भी लागू होती हैं.

ऐसा हो सकता है कि कुछ खास मामलों वाले क्रॉलर, robots.txt नियमों का पालन न करते हों. ऐसे में, वे सामान्य क्रॉलर से अलग आईपी रेंज पर काम करते हैं. आईपी रेंज, special-crawlers.json ऑब्जेक्ट में पब्लिश की जाती हैं. स्पेशल-केस क्रॉलर का रिवर्स डीएनएस मास्क, rate-limited-proxy-***-***-***-***.google.com से मैच करता है.

यहां दी गई सूची में, स्पेशल-केस क्रॉलर, एचटीटीपी अनुरोध में दिखने वाली उनकी उपयोगकर्ता एजेंट स्ट्रिंग, और robots.txt में User-agent: लाइन के लिए उनके उपयोगकर्ता एजेंट टोकन की जानकारी दिखती है. साथ ही, उन प्रॉडक्ट की जानकारी दिखती है जिन पर क्रॉलर की क्रॉल सेटिंग का असर पड़ता है. यह सूची पूरी नहीं है. इसमें अनुरोध करने वाले सिर्फ़ ऐसे अनुरोधकर्ता हैं जो लॉग फ़ाइलों में दिख सकते हैं. साथ ही, जिनके बारे में हमसे सवाल पूछे गए हैं.

एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट 
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन

APIs-Google

ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ किया जाता है.
robots.txt ग्रुप का उदाहरण 
user-agent: APIs-Google
allow: /archive/1Q84
disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है APIs-Google उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Google API के पुश नोटिफ़िकेशन मैसेज की डिलीवरी पर पड़ता है.
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन

AdsBot-Google-Mobile

ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ किया जाता है.
robots.txt ग्रुप का उदाहरण 
user-agent: AdsBot-Google-Mobile
allow: /archive/1Q84
disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है AdsBot-Google-Mobile उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, वेब पेज पर दिखने वाले विज्ञापन की क्वालिटी की जांच करने से जुड़ी Google Ads की क्षमता पर पड़ता है.
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट 
AdsBot-Google (+http://www.google.com/adsbot.html)
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन

AdsBot-Google

ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ किया जाता है.
robots.txt ग्रुप का उदाहरण 
user-agent: AdsBot-Google
allow: /archive/1Q84
disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है AdsBot-Google उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, वेब पेज पर दिखने वाले विज्ञापन की क्वालिटी की जांच करने से जुड़ी Google Ads की क्षमता पर पड़ता है.
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट
डेस्कटॉप एजेंट 
Mediapartners-Google
मोबाइल एजेंट 
(Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन Mediapartners-Google

ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ किया जाता है.
robots.txt ग्रुप का उदाहरण 
user-agent: Mediapartners-Google
allow: /archive/1Q84
disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है Mediapartners-Google उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Google AdSense पर पड़ता है. AdSense क्रॉलर, हिस्सा लेने वाली साइटों पर जाकर, उन पर काम के विज्ञापन दिखाता है.
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट 
Google-Safety
robots.txt Google-सुरक्षा उपयोगकर्ता एजेंट, robots.txt नियमों को नज़रअंदाज़ करता है.
वे प्रॉडक्ट जिन पर असर पड़ता है Google-सुरक्षा उपयोगकर्ता एजेंट, गलत क्रॉल करने के मामलों को मैनेज करता है. जैसे, Google प्रॉपर्टीज़ पर सार्वजनिक तौर पर पोस्ट किए गए लिंक के लिए मैलवेयर खोजना. इसलिए, क्रॉल करने की प्राथमिकताओं से इस पर कोई असर नहीं पड़ता.

ऐसे स्पेशल-केस क्रॉलर जो अब काम नहीं करते

ये स्पेशल-केस क्रॉलर अब इस्तेमाल नहीं किए जाते. इन्हें सिर्फ़ पुराने रेफ़रंस के लिए यहां नोट किया गया है.

एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट 
Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन AdsBot-Google-Mobile

ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ किया जाता है.
वे प्रॉडक्ट जिन पर असर पड़ता है AdsBot-Google-Mobile उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, iPhone पर मौजूद वेब पेज में दिखने वाले विज्ञापन की क्वालिटी की जांच करने से जुड़ी Google Ads की क्षमता पर पड़ा.
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट 
Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन DuplexWeb-Google

Duplex on the web, * वाइल्डकार्ड को नज़रअंदाज़ कर सकता है.
वे प्रॉडक्ट जिन पर असर पड़ता है इसका इस्तेमाल Duplex on the web सेवा के साथ किया जाता है.
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट 
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन Googlebot-Image
Googlebot
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट 
AdsBot-Google-Mobile-Apps
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps उपयोगकर्ता एजेंट ने AdsBot-Google रोबोट के नियमों का पालन किया, लेकिन ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ किया.
वे प्रॉडक्ट जिन पर असर पड़ता है AdsBot-Google-Mobile-Apps उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Google Ads के Android ऐप्लिकेशन पेज में दिखने वाली, विज्ञापन की क्वालिटी की जांच करने से जुड़ी क्षमता पर पड़ता है.
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट 
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
robots.txt
robots.txt में उपयोगकर्ता एजेंट टोकन googleweblight

googleweblight के उपयोगकर्ता एजेंट का इस्तेमाल सिर्फ़ तब किया जाता है, जब वेबसाइट पर आने वाले किसी व्यक्ति ने सीधे तौर पर ब्राउज़ करने का अनुरोध किया हो. इसका मकसद, robots.txt के उन नियमों को नज़रअंदाज़ करना है जिनसे साइट को क्रॉल करने के ऑटोमेटेड (अपने-आप होने वाले) अनुरोध, ब्लॉक किए जाते हैं.
वे प्रॉडक्ट जिन पर असर पड़ता है जब भी कोई उपयोगकर्ता, Search में आपके पेज पर क्लिक करता है, तो Web Light उपयोगकर्ता एजेंट no-transform हेडर की मौजूदगी की जांच करता है.