Googlebot'u ve diğer Google tarayıcılarını doğrulama

Sunucunuza erişen bir web tarayıcısının Googlebot gibi gerçekten bir Google tarayıcısı olup olmadığını doğrulayabilirsiniz. Spam yapanların veya kötü niyetli başka kişilerin Googlebot olduklarını iddia ederek sitenize eriştiğinden şüpheleniyorsanız bu yararlı bir yöntemdir.

Google tarayıcıları üç kategoriye ayrılır:

Tür Açıklama Ters DNS maskesi IP aralıkları
Yaygın kullanılan tarayıcılar Google ürünleri için kullanılan genel tarayıcılar (Googlebot gibi). Otomatik taramalar için robots.txt kurallarına her zaman uyarlar. crawl-***-***-***-***.googlebot.com veya geo-crawl-***-***-***-***.geo.googlebot.com googlebot.json
Özel durum tarayıcıları Taranan site ile ürün arasında tarama süreci hakkında bir anlaşmanın olduğu, Google ürünleri (örneğin AdsBot) için belirli işlevleri gerçekleştiren tarayıcılar. Bu tarayıcılar robots.txt kurallarına uyabilir veya uymayabilir. rate-limited-proxy-***-***-***-***.google.com special-crawlers.json
Kullanıcı tarafından tetiklenen getirme araçları Son kullanıcının, getirme işlemini tetiklediği araçlar ve ürün işlevleri. Örneğin, Google Site Doğrulayıcı bir kullanıcının isteği üzerine işlem yapar. Getirme, bir kullanıcı tarafından istendiğinden bu getirme araçları robots.txt kurallarını yoksayar.
. Google tarafından kontrol edilen alıcılar user-triggered-fetchers-google.json nesnesindeki IP'lerden gelir ve google.com ana makine adına çözümlenir. user-triggered-fetchers.json nesnesindeki IP'ler gae.googleusercontent.com ana makine adına çözümlenir. Bu IP'lerin kullanımına örnek olarak Google Cloud'da (GCP) çalışan bir sitede harici RSS özet akışlarını getirmeyi gerektiren bir özelliğin kullanıcı tarafından istenmesi verilebilir. 		***-***-***-***.gae.googleusercontent.com veya google-proxy-***-***-***-***.google.com user-triggered-fetchers.json ve user-triggered-fetchers-google.json

Google tarayıcılarını doğrulamanın iki yöntemi vardır:

  • Manuel olarak: Tek seferlik aramalarda komut satırı araçlarını kullanın. Bu yöntem çoğu kullanım alanı için yeterlidir.
  • Otomatik olarak: Büyük ölçekli aramalarda tarayıcının IP adresini, yayınlanan Googlebot IP adresleri listesiyle eşleştirmek için otomatik bir çözüm kullanın.

Komut satırı araçlarını kullanma

  1. Günlüklerinizde, erişimde bulunan IP adresi için host komutunu kullanarak ters DNS araması çalıştırın.
  2. Alan adının googlebot.com, google.com veya googleusercontent.com olduğunu doğrulayın.
  3. 1. adımda aldığınız alan adı için ileriye doğru DNS araması çalıştırın. Bunun için, alınan alan adında host komutunu kullanın.
  4. Bunun, günlüklerinizde kayıtlı, orijinal erişimde bulunan IP adresiyle aynı olduğunu doğrulayın.

Örnek 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Örnek 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.

host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

Örnek 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Otomatik çözümleri kullanma

Alternatif olarak da tarayıcının IP adresini, Google tarayıcılarının ve getirme araçlarının IP aralıkları listeleriyle eşleştirerek Googlebot'u IP adresine göre tanımlayabilirsiniz:

Sitenizin erişilebildiği diğer Google IP adresleri için (örneğin, Apps Komut Dosyaları) erişim IP adresini genel Google IP adres listesi ile eşleştirin. JSON dosyalarındaki IP adreslerinin CIDR biçiminde gösterildiğini unutmayın.