Robots meta टैग, data-nosnippet, और X-Robots-Tag की विशेषताएं

इस दस्तावेज़ में यह जानकारी दी गई है कि कैसे पेज और टेक्स्ट के लेवल की सेटिंग का इस्तेमाल करके, यह तय किया जा सकता है कि Google, आपके कॉन्टेंट को खोज के नतीजों में कैसे दिखाए. एचटीएमएल पेज पर या किसी एचटीटीपी हेडर में meta टैग शामिल करके, पेज के लेवल की सेटिंग तय की जा सकती है. पेज में दिए गए एचटीएमएल एलिमेंट के लिए data-nosnippet एट्रिब्यूट जोड़कर, टेक्स्ट के लेवल की सेटिंग तय की जा सकती है.

ध्यान रखें कि इन सेटिंग को सिर्फ़ तब ही पढ़ा और फ़ॉलो किया जा सकता है, जब क्रॉलर को इन सेटिंग वाले पेजों को ऐक्सेस करने की अनुमति हो.

<meta name="robots" content="noindex"> नियम, सर्च इंजन के क्रॉलर पर लागू होता है. AdsBot-Google जैसे बिना सर्च इंजन वाले क्रॉलर को ब्लॉक करने के लिए, आपको खास क्रॉलर (जैसे कि <meta name="AdsBot-Google" content="noindex">) को टारगेट करने वाले नियम जोड़ने पड़ सकते हैं.

robots meta टैग का इस्तेमाल करना

robots meta टैग, किसी पेज पर बारीकी से यह कंट्रोल करने की सुविधा देता है कि उस पेज को किस तरह इंडेक्स किया जाए. साथ ही, उसे Google Search के नतीजों में कैसे दिखाया जाए. robots meta टैग को किसी पेज के <head> सेक्शन में इस तरह से डालें: 

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex">
(…)
</head>
<body>(…)</body>
</html>

इस उदाहरण में, robots meta टैग ने सर्च इंजन को निर्देश दिया कि वह इस पेज को खोज के नतीजों में न दिखाए. name एट्रिब्यूट की वैल्यू (जो robots है) से पता चलता है कि यह नियम सभी क्रॉलर पर लागू होता है. name और content, दोनों एट्रिब्यूट केस-इनसेंसिटिव होते हैं. किसी खास क्रॉलर को निर्देश देने के लिए, name एट्रिब्यूट की robots वैल्यू की जगह, उस क्रॉलर के उपयोगकर्ता एजेंट टोकन का इस्तेमाल करें जिसे निर्देश दिए जा रहे हैं. Google, robots meta टैग में दो उपयोगकर्ता एजेंट टोकन इस्तेमाल करने की सुविधा देता है; अन्य वैल्यू को नज़रअंदाज़ कर दिया जाता है:

  1. googlebot: टेक्स्ट वाले सभी नतीजों के लिए.
  2. googlebot-news: खबरों वाले नतीजों के लिए.

उदाहरण के लिए, Google को खास तौर पर यह निर्देश देने के लिए कि पेज को खोज के नतीजों में न दिखाया जाए, googlebot को meta टैग के नाम के तौर पर सेट किया जा सकता है: 

<meta name="googlebot" content="noindex">

अगर किसी पेज को Google के वेब के खोज नतीजों में तो दिखाना है, लेकिन उसे Google News में नहीं दिखाना है, तो googlebot-news meta टैग का इस्तेमाल करें: 

<meta name="googlebot-news" content="noindex">

एक से ज़्यादा क्रॉलर के बारे में एक साथ जानकारी देने के लिए, कई robots meta टैग का इस्तेमाल करें: 

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

बिना एचटीएमएल वाले रिसॉर्स, जैसे कि PDF फ़ाइलों, वीडियो फ़ाइलों या इमेज फ़ाइलों को इंडेक्स होने से रोकने के लिए,X-Robots-Tag रिस्पॉन्स हेडर का इस्तेमाल करें.

X-Robots-Tag एचटीटीपी हेडर का इस्तेमाल करना

किसी यूआरएल के लिए, X-Robots-Tag का इस्तेमाल एचटीटीपी हेडर रिस्पॉन्स के एलिमेंट के तौर पर किया जा सकता है. robots meta टैग में इस्तेमाल किए जाने वाले किसी भी नियम को X-Robots-Tag के तौर पर भी बताया जा सकता है. यहां एचटीटीपी रिस्पॉन्स का एक उदाहरण दिया गया है. इसमें X-Robots-Tag, क्रॉलर को पेज इंडेक्स न करने का निर्देश दे रहा है: 

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

कई X-Robots-Tag हेडर, एचटीटीपी रिस्पॉन्स में जोड़े जा सकते हैं या नियमों की कॉमा-सेपरेटेड लिस्ट बनाई जा सकती है. यहां एचटीटीपी हेडर रिस्पॉन्स का एक उदाहरण दिया गया है, जिसमें unavailable_after X-Robots-Tag के साथ noarchive X-Robots-Tag जुड़े हुए हैं. 

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

ऐसा हो सकता है कि X-Robots-Tag, नियम से पहले उपयोगकर्ता एजेंट तय करे. उदाहरण के लिए, नीचे दिए गए X-Robots-Tag एचटीटीपी हेडर के सेट का इस्तेमाल, किसी पेज को कुछ शर्तों के साथ, अलग-अलग सर्च इंजन के खोज के नतीजों में दिखाने की अनुमति देने के लिए किया जा सकता है: 

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

उपयोगकर्ता एजेंट तय किए बिना बनाए गए नियम, सभी क्रॉलर के लिए मान्य होते हैं. एचटीटीपी हेडर, उपयोगकर्ता एजेंट का नाम, और तय की गई वैल्यू केस सेंसिटिव नहीं होती हैं.

सही तरह से इंडेक्स करने और खोज नतीजे में दिखाने से जुड़े नियम

ये नियम, मशीन से पढ़े जा सकने वाले फ़ॉर्मैट में भी उपलब्ध हैं. इनका इस्तेमाल करके, robots meta टैग और X-Robots-Tag की मदद से स्निपेट की इंडेक्सिंग और सर्विंग को कंट्रोल किया जा सकता है. हर वैल्यू एक खास नियम दिखाती है. कॉमा-सेपरेटेड लिस्ट या अलग-अलग meta टैग में एक से ज़्यादा नियम जोड़े जा सकते हैं. ये नियम केस-इनसेंसिटिव होते हैं.

नियम

all

 इंडेक्स करने या खोज के नतीजों में दिखाए जाने पर कोई भी पाबंदी नहीं है. यह नियम, डिफ़ॉल्ट वैल्यू है और साफ़ तौर पर सूची में शामिल करने पर इसका कोई असर नहीं पड़ता.

noindex

इस पेज, मीडिया या रिसॉर्स को खोज के नतीजों में न दिखाएं. अगर आपने इस नियम की जानकारी नहीं दी है, तो पेज, मीडिया या रिसॉर्स को इंडेक्स किया जा सकता है और उसे खोज के नतीजों में दिखाया जा सकता है.

Google से जानकारी हटाने के लिए, हमारे सिलसिलेवार निर्देशों का पालन करें.

nofollow

 इस पेज पर दिए गए लिंक फ़ॉलो न करें. अगर आपने इस नियम की जानकारी नहीं दी है, तो Google, पेज पर दिए गए लिंक को फ़ॉलो करके, लिंक किए गए पेजों को क्रॉल कर सकता है. nofollow के बारे में ज़्यादा जानें.

none

 noindex, nofollow के बराबर.

noarchive

 खोज के नतीजों में, कैश में स्टोर हुआ लिंक न दिखाएं. अगर आपने इस नियम की जानकारी नहीं दी है, तो Google कोई ऐसा पेज जनरेट कर सकता है जो कैश मेमोरी में सेव हो. साथ ही, उपयोगकर्ता उस पेज को खोज के नतीजों में देख सकते हैं.

nositelinkssearchbox

इस पेज के लिए, खोज के नतीजों में साइटलिंक के लिए खोज बॉक्स न दिखाएं. अगर आपने इस नियम की जानकारी नहीं दी है, तो Google खोज के नतीजों में आपकी साइट के लिए बना एक खोज बॉक्स जनरेट कर सकता है. साथ ही, आपकी साइट पर ले जाने वाले दूसरे डायरेक्ट लिंक भी जनरेट हो सकते हैं.

nosnippet

इस पेज के लिए, खोज के नतीजों में कोई टेक्स्ट स्निपेट या वीडियो की झलक न दिखाएं. बेहतर उपयोगकर्ता अनुभव देने के लिए, अब भी स्टैटिक इमेज थंबनेल दिख सकता है. हालांकि, इसके लिए थंबनेल का उपलब्ध होना ज़रूरी है. यह हर तरह के खोज नतीजों में पर लागू होता है. जैसे, Google Web Search, Google इमेज, डिस्कवर, एआई की मदद से तैयार जवाब. साथ ही, एआई की मदद से तैयार जवाब के लिए सीधे तौर पर कॉन्टेंट का इस्तेमाल रोका जाएगा.

अगर आपने इस नियम की जानकारी नहीं दी है, तो Google, पेज से मिली जानकारी के मुताबिक टेक्स्ट स्निपेट या वीडियो की झलक जनरेट कर सकता है.

खोज के नतीजों के स्निपेट में आपके कॉन्टेंट के खास सेक्शन न दिखें, इसके लिए data-nosnippet एचटीएमएल एट्रिब्यूट का इस्तेमाल करें.

indexifembedded

noindex नियम के बावजूद, Google किसी पेज के कॉन्टेंट को इंडेक्स कर सकता है. हालांकि, इसके लिए ज़रूरी है कि वह कॉन्टेंट iframes या इससे मिलते-जुलते एचटीएमएल टैग की मदद से किसी दूसरे पेज में जोड़ा गया हो.

indexifembedded सिर्फ़ तब काम करेगा, जब उसके साथ noindex का इस्तेमाल किया गया हो.

max-snippet: [number]

खोज के इस नतीजे के लिए, टेक्स्ट स्निपेट के तौर पर ज़्यादा से ज़्यादा [number] वर्णों का इस्तेमाल करें. (ध्यान दें कि कोई यूआरएल, खोज के नतीजे वाले पेज में एक से ज़्यादा खोज नतीजों के तौर पर दिख सकता है.) इससे इमेज या वीडियो की झलक पर कोई असर नहीं पड़ता. यह हर तरह के खोज नतीजों पर लागू होता है. जैसे, Google Web Search, Google इमेज, डिस्कवर, Assistant, एआई की मदद से तैयार जवाब. साथ ही, इससे यह भी सीमित हो जाएगा कि एआई की मदद से तैयार जवाबों के लिए, डायरेक्ट इनपुट के तौर पर कितने कॉन्टेंट का इस्तेमाल किया जा सकता है. हालांकि, वर्णों की यह सीमा तब लागू नहीं होती है, जब पब्लिशर ने कॉन्टेंट के इस्तेमाल की अनुमति अलग से दी हो. उदाहरण के लिए, अगर पब्लिशर इन-पेज स्ट्रक्चर्ड डेटा के तौर पर कॉन्टेंट उपलब्ध कराता है या उसका Google के साथ कोई लाइसेंस वाला कानूनी समझौता है, तो यह सेटिंग उन इस्तेमाल पर लागू नहीं होती है जिनके लिए मंज़ूरी दी जा चुकी है. अगर पार्स किया जा सकने वाला कोई [number] मौजूद न हो, तो इस नियम को नज़रअंदाज़ कर दिया जाता है.

अगर आपने इस नियम की जानकारी नहीं दी है, तो स्निपेट की लंबाई Google तय करेगा.

खास वैल्यू:

  • 0: दिखाने के लिए स्निपेट मौजूद नहीं है. nosnippet के बराबर.
  • -1: Google, स्निपेट की लंबाई अपने हिसाब से तय करता है. लंबाई उतनी ही रखता है, जितनी उसे सही लगती है. उतने ही शब्दों का स्निपेट चुना जाता है जो उपयोगकर्ताओं को आपका कॉन्टेंट ढूंढने और आपकी साइट पर पहुंचाने में मददगार साबित हो.

उदाहरण:

किसी स्निपेट को खोज के नतीजों में दिखने से रोकने के लिए:

<meta name="robots" content="max-snippet:0">

स्निपेट में ज़्यादा से ज़्यादा 20 वर्ण दिखाने के लिए:

<meta name="robots" content="max-snippet:20">

यह बताने के लिए कि स्निपेट में जितने चाहें उतने वर्ण शामिल किए जा सकते हैं: 

<meta name="robots" content="max-snippet:-1">

max-image-preview: [setting]

खोज नतीजों में दिखाने के लिए, इस पेज की झलक वाली इमेज का साइज़, ज़्यादा से ज़्यादा पर सेट करें.

अगर आपने max-image-preview नियम की जानकारी नहीं दी है, तो Google, इमेज की झलक को डिफ़ॉल्ट साइज़ में दिखा सकता है.

ये [setting] वैल्यू दी जा सकती हैं:

  • none: दिखाने के लिए इमेज की कोई झलक मौजूद नहीं है.
  • standard: डिफ़ॉल्ट के तौर पर सेट की गई इमेज की झलक दिख सकती है.
  • large: इमेज की बड़ी झलक दिखाई जा सकती है. इसकी चौड़ाई व्यूपोर्ट जितनी हो सकती है.

यह हर तरह के खोज नतीजों पर लागू होता है. जैसे, Google Web Search, Google Images, डिस्कवर, Assistant. हालांकि, यह सीमा तब लागू नहीं होती है, जब पब्लिशर ने कॉन्टेंट के इस्तेमाल की अनुमति अलग से दी हो. उदाहरण के लिए, अगर पब्लिशर इन-पेज स्ट्रक्चर्ड डेटा (जैसे, एएमपी और किसी लेख के कैननिकल वर्शन) के तौर पर कॉन्टेंट उपलब्ध कराता है या उसका Google के साथ कोई लाइसेंस वाला कानूनी समझौता है, तो यह सेटिंग उन इस्तेमाल पर लागू नहीं होती है जिनके लिए मंज़ूरी दी जा चुकी है.

अगर आप नहीं चाहते कि Google आपके एएमपी पेजों और किसी लेख के कैननिकल वर्शन को Search या डिस्कवर में बड़े थंबनेल वाली इमेज के साथ दिखाए, तो standard या none के लिए एक max-image-preview वैल्यू तय करें.

उदाहरण के लिए:

<meta name="robots" content="max-image-preview:standard">

max-video-preview: [number]

खोज के नतीजों में इस पेज पर, वीडियो के लिए ज़्यादा से ज़्यादा [number] सेकंड के वीडियो स्निपेट का इस्तेमाल करें.

अगर आपने max-video-preview नियम की जानकारी नहीं दी है, तो Google, खोज के नतीजों में वीडियो स्निपेट दिखा सकता है. साथ ही, ऐसे में Google तय करता है कि झलक कितनी लंबी होगी.

खास वैल्यू:

  • 0: ज़्यादा से ज़्यादा, max-image-preview सेटिंग के हिसाब से, एक स्टैटिक इमेज का इस्तेमाल किया जा सकता है.
  • -1: कोई सीमा नहीं है.

यह खोज के हर तरह के नतीजों पर लागू होता है. Google में: Web Search, Google Images, Google वीडियो, डिस्कवर, Assistant. अगर पार्स किया जा सकने वाला कोई [number] मौजूद न हो, तो इस नियम को नज़रअंदाज़ कर दिया जाता है.

उदाहरण:

<meta name="robots" content="max-video-preview:-1">

notranslate

 खोज के नतीजों में, इस पेज के कॉन्टेंट का अनुवाद न दिखाएं. अगर आपने इस नियम को शामिल नहीं किया है, तो Google ऐसी भाषा के खोज के नतीजों के लिए टाइटल के लिंक और स्निपेट, दोनों का अनुवाद उपलब्ध करा सकता है जो खोज क्वेरी की भाषा नहीं है. अगर कोई व्यक्ति, अनुवाद किए गए शीर्षक के लिंक पर क्लिक करता है, तो पेज के साथ होने वाले उसके सभी इंटरैक्शन, Google Translate की मदद से होते हैं. पेज पर मौजूद किसी भी लिंक पर जाने पर, उसका अनुवाद अपने-आप हो जाता है.

noimageindex

 इस पेज पर मौजूद इमेज को इंडेक्स न करें. अगर आप इस वैल्यू का इस्तेमाल न करें, तो पेज पर मौजूद इमेज, इंडेक्स की जा सकती हैं और खोज के नतीजों में दिखाई जा सकती हैं.

unavailable_after: [date/time]

बताई गई तारीख या समय के बाद, इस पेज को खोज के नतीजों में न दिखाएं. तारीख या समय, आम तौर पर इस्तेमाल किए जाने वाले फ़ॉर्मैट में ही होना चाहिए. हालांकि, यह RFC 822, RFC 850, और ISO 8601 तक सीमित नहीं है. अगर कोई मान्य तारीख या समय मौजूद नहीं है, तो इस नियम को नज़रअंदाज़ कर दिया जाता है. डिफ़ॉल्ट तौर पर, कॉन्टेंट के लिए खत्म होने की कोई तारीख नहीं होती है.

अगर आपने इस नियम की जानकारी नहीं दी है, तो खोज के नतीजों में पेज दिखता रहेगा. Googlebot बताई गई तारीख और समय के बाद, यूआरएल की क्रॉल दर को बहुत कम कर देगा.

उदाहरण:

<meta name="robots" content="unavailable_after: 2020-09-21">

इंडेक्स करने और खोज नतीजे में दिखाने से जुड़े नियमों को एक साथ मैनेज करना

robots meta टैग के नियमों को कॉमा से जोड़कर या कई meta टैग का इस्तेमाल करके, कई नियमों वाले निर्देश बनाए जा सकते हैं. यहां robots meta टैग का एक उदाहरण दिया गया है. यह वेब क्रॉलर को पेज इंडेक्स न करने और पेज पर किसी भी लिंक को क्रॉल नहीं करने का निर्देश देता है:

कॉमा-सेपरेटेड लिस्ट

<meta name="robots" content="noindex, nofollow">

एक से ज़्यादा meta टैग

<meta name="robots" content="noindex">
<meta name="robots" content="nofollow">

यहां एक उदाहरण दिया गया है जिसमें टेक्स्ट स्निपेट के लिए, ज़्यादा से ज़्यादा 20 वर्णों का इस्तेमाल करने और इमेज की बड़ी झलक दिखाने की अनुमति है: 

<meta name="robots" content="max-snippet:20, max-image-preview:large">

अलग-अलग क्रॉलर को अलग-अलग नियम देने की स्थिति में, सर्च इंजन नेगेटिव नियम के कुल योग का इस्तेमाल करेगा. उदाहरण के लिए:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Googlebot से क्रॉल किए जाने पर, जिस पेज में meta टैग होंगे उसे noindex, nofollow नियम माना जाएगा.

data-nosnippet एचटीएमएल एट्रिब्यूट का इस्तेमाल करना

एचटीएमएल पेज के टेक्स्ट वाले किन हिस्सों को स्निपेट के तौर पर इस्तेमाल न किया जाए, यह तय किया जा सकता है ऐसा करने के लिए, आप चाहें तो एचटीएमएल एलिमेंट के स्तर पर span, div, और section एलिमेंट में, data-nosnippet एचटीएमएल एट्रिब्यूट का इस्तेमाल किया जा सकता है. data-nosnippet को बूलियन एट्रिब्यूट माना जाता है. सभी बूलियन एट्रिब्यूट की तरह ही, इसके लिए दी गई किसी भी वैल्यू को नज़रअंदाज़ कर दिया जाता है. मशीन (कंप्यूटर) आपके पेज को ठीक तरह से समझ सके, इसके लिए ज़रूरी है कि एचटीएमएल सेक्शन एक मान्य एचटीएमएल हो और सभी टैग उसके मुताबिक बंद किए जाते हों.

उदाहरण:

<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

<p>This text can be shown in a snippet.</p>
<div data-nosnippet>
  <p>However, this is not in snippet.</p>
  <ul>
    <li>Stuff not in snippet</li>
    <li>More stuff not in snippet</li>
  </ul>
</div>

आम तौर पर, Google किसी पेज को इंडेक्स करने के लिए रेंडर करता है, लेकिन यह ज़रूरी नहीं है कि इंडेक्स किया गया हर पेज रेंडर किया गया हो. इस वजह से, data-nosnippet को रेंडर करने के पहले और बाद में, कभी भी निकाला जा सकता है. रेंडर करने की प्रक्रिया का सही इस्तेमाल करने के लिए, JavaScript का इस्तेमाल करके, मौजूदा नोड के data-nosnippet एट्रिब्यूट को जोड़ें या हटाएं नहीं. JavaScript की मदद से DOM एलिमेंट जोड़ते समय, data-nosnippet एट्रिब्यूट शामिल करें. पेज के DOM में एलिमेंट जोड़ते समय, ऐसा करना ज़रूरी होता है. अगर पसंद के मुताबिक बनाए गए एलिमेंट इस्तेमाल किए जाते हैं, तो data-nosnippet का इस्तेमाल करने के लिए div, span या section के साथ उन्हें रैप करें या उनकी इमेज बनाएं.

स्ट्रक्चर्ड डेटा का इस्तेमाल करना

Robots meta टैग उस कॉन्टेंट को कंट्रोल करते हैं जिसे Google, खोज के नतीजों में दिखाने के लिए वेब पेजों से अपने-आप निकालता है. हालांकि, कई पब्लिशर खोज नतीजों में दिखाने के लिए खास जानकारी उपलब्ध कराते हैं. इसके लिए, वे schema.org वाले स्ट्रक्चर्ड डेटा का भी इस्तेमाल करते हैं. Robots meta टैग की सीमाएं दूसरे क्रिएटिव कामों के लिए तय स्ट्रक्चर्ड डेटा के article.description और description की वैल्यू छोड़कर, उस स्ट्रक्चर्ड डेटा के इस्तेमाल पर असर नहीं डालती हैं. इन description वैल्यू के आधार पर झलक की ज़्यादा से ज़्यादा लंबाई तय करने के लिए, max-snippet नियम का इस्तेमाल करें. उदाहरण के लिए, किसी पेज के recipe स्ट्रक्चर्ड डेटा को रेसिपी कैरसेल में जोड़ा जा सकता है. टेक्स्ट की झलक सीमित होने पर भी ऐसा किया जा सकता है. max-snippet से, टेक्स्ट की झलक की लंबाई सीमित की जा सकती है. हालांकि, यह robots meta टैग तब लागू नहीं होता है, जब ज़्यादा बेहतर नतीजों (रिच रिज़ल्ट) के लिए स्ट्रक्चर्ड डेटा का इस्तेमाल करके जानकारी दी गई हो.

अपने वेब पेज के लिए स्ट्रक्चर्ड डेटा के इस्तेमाल को मैनेज करने के लिए, स्ट्रक्चर्ड डेटा के टाइप और उनकी वैल्यू को बदला जा सकता है. अगर आप सिर्फ़ वही डेटा उपलब्ध कराना चाहें जो खोज के नतीजों में दिखे, तो जानकारी जोड़ी या हटाई जा सकती है. यह भी ध्यान दें कि data-nosnippet एलिमेंट में स्ट्रक्चर्ड डेटा इस्तेमाल किए जाने पर भी खोज के नतीजों में स्ट्रक्चर्ड डेटा का इस्तेमाल किया जा सकता है.

X-Robots-Tag को लागू करना

आप अपनी साइट के वेब सर्वर सॉफ़्टवेयर की कॉन्फ़िगरेशन फ़ाइलों के ज़रिए, साइट के एचटीटीपी रिस्पॉन्स में X-Robots-Tag जोड़े जा सकते हैं. उदाहरण के लिए, Apache सर्वर पर .htaccess और httpd.conf फ़ाइलों का इस्तेमाल किया जा सकता है. एचटीटीपी रिस्पॉन्स के साथ X-Robots-Tag के इस्तेमाल का यह फ़ायदा होता है कि क्रॉल करने से जुड़े नियम तय किए जा सकते हैं. ये नियम पूरी साइट पर लागू होते हैं. रेगुलर एक्सप्रेशन के काम करने से यह बहुत ज़्यादा सुविधाजनक बन जाता है.

उदाहरण के लिए, पूरी साइट पर मौजूद सभी .PDF फ़ाइलों के एचटीटीपी रिस्पॉन्स में noindex, nofollow X-Robots-Tag शामिल करने के लिए, साइट की रूट .htaccess फ़ाइल में या Apache पर httpd.conf फ़ाइल में या NGINX पर साइट की .conf फ़ाइल में, यह स्निपेट जोड़ें.

Apache

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

इमेज फ़ाइलों जैसी उन गैर-एचटीएमएल फ़ाइलों के लिए X-Robots-Tag का इस्तेमाल किया जा सकता है जिनके लिए एचटीएमएल में robots meta टैग का इस्तेमाल नहीं किया जा सकता. यहां एक पूरी साइट पर इमेज फ़ाइलों (.png, .jpeg, .jpg, .gif) के लिए, noindex X-Robots-Tag नियम जोड़ने का उदाहरण दिया गया है:

Apache

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

अलग-अलग स्टैटिक फ़ाइलों के लिए, X-Robots-Tag हेडर भी सेट किए जा सकते हैं:

Apache

# the htaccess file must be placed in the directory of the matched file.
<Files "unicorn.pdf">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX

location = /secrets/unicorn.pdf {
  add_header X-Robots-Tag "noindex, nofollow";
}

robots.txt के नियमों को, इंडेक्स करने और खोज नतीजों में दिखाने के नियमों से जोड़ना

robots meta टैग और X-Robots-Tag एचटीटीपी हेडर का पता तब चलता है, जब किसी यूआरएल को क्रॉल किया जाता है. अगर किसी पेज को robots.txt फ़ाइल से क्रॉल करने से मना कर दिया जाता है, तो इंडेक्स करने या नियम दिखाने के बारे में कोई जानकारी नहीं मिलेगी. इसलिए, उसे अनदेखा कर दिया जाएगा. अगर इंडेक्स करने या खोज नतीजों में दिखाने से जुड़े नियमों का पालन करना ज़रूरी है, तो उन नियमों वाले यूआरएल को क्रॉल करने से रोका नहीं जा सकता.