Büyük site sahiplerine yönelik tarama bütçenizi yönetme kılavuzu

Bu kılavuzda, Google'ın çok büyük ve sık güncellenen sitelerde yaptığı tarama işleminin nasıl optimize edileceği açıklanmaktadır.

Sitenizde hızla değişen çok sayıda sayfa yoksa veya sayfalarınız yayınlandıkları gün taranıyorsa bu kılavuzu okumanız gerekmez. Site haritanızı güncel tutmanız ve düzenli olarak dizin kapsamınızı kontrol etmeniz yeterli olacaktır.

Bir süredir kullanılabilir durumda olmasına rağmen hiç dizine eklenmemiş içerikleriniz varsa bu farklı bir sorundur. Sayfanızın neden dizine eklenmediğini öğrenmek için bunun yerine URL Denetleme aracını kullanın.

Bu kılavuz kimlere yöneliktir?

Bu, ileri düzey bir kılavuz olup aşağıdakilere yöneliktir:

• İçeriği sık sık (haftada bir) değişen büyük siteler (1 milyondan fazla benzersiz sayfaya sahip) veya
• İçeriği çok hızlı değişen (her gün) orta ölçekli ya da büyük siteler (10.000'den fazla benzersiz sayfa)
• Tüm URL'lerinin büyük bir kısmı Search Console tarafından Keşfedildi - şu anda dizine eklenmiş değil olarak sınıflandırılmış siteler

Genel tarama teorisi

Web, Google'ın her bir URL'yi keşfedip dizine eklemesini imkansız hale getiren neredeyse sınırsız bir alandır. Bu nedenle, Googlebot'un bir siteyi taramaya ayırabileceği süre kısıtlıdır. Google'ın bir siteyi taramak için harcadığı süre ve kaynaklar genellikle sitenin tarama bütçesi olarak adlandırılır. Sitenizde taranan her şeyin dizine eklenmeyebileceğini unutmayın. Her sayfa tarandıktan sonra dizine eklenip eklenmeyeceğini belirlemek için değerlendirilmeli ve birleştirilmelidir.

Tarama bütçesi iki ana öğeye göre belirlenir: tarama kapasitesi sınırı ve tarama talebi.

Tarama kapasitesi sınırı

Googlebot, sunucularınızda aşırı yoğunluğa yol açmadan sitenizi taramak ister. Googlebot bunun için tarama kapasitesi sınırını (Googlebot'un bir siteyi taramak için kullanabileceği maksimum eş zamanlı paralel bağlantı sayısı) ve getirmeler arasındaki gecikme süresini hesaplar. Bu, sunucularınızda aşırı yoğunluğa yol açmadan tüm önemli içeriklerinizin kapsanmasını sağlamak için hesaplanır.

Tarama kapasitesi sınırı birkaç faktöre bağlı olarak artıp azalabilir:

• Tarama durumu: Site bir süre hızlı yanıt verirse sınır artar, yani tarama için daha fazla bağlantı kullanılabilir. Site yavaşlar veya sunucu hatalarıyla yanıt verirse sınır azalır ve Googlebot daha az tarama yapar.
• Google'ın tarama sınırları: Google'ın makine sayısı çok fazla olsa da sınırsız değildir. Bu nedenle, sahip olduğumuz kaynakları kullanırken doğru seçim yapmamız gerekir.

Tarama talebi

Google genellikle bir sitenin boyutunu, güncelleme sıklığını, sayfa kalitesini ve diğer sitelere kıyasla alaka düzeyini dikkate alarak taranması için gereken süreyi harcar.

Tarama talebini belirlemede önemli rol oynayan faktörler şunlardır:

• Algılanan envanter: Googlebot, siz yol göstermezseniz sitenizde bildiği URL'lerin tümünü veya çoğunu taramaya çalışır. Bu URL'lerin birçoğu birbirinin kopyasıysa veya başka bir nedenle (kaldırıldığı, önemsiz olduğu vb. için) taranmasını istemiyorsanız bu durum, Google'ın sitenizi tararken boşuna çok fazla vakit harcamasına neden olur. Bu, olumlu yönde en fazla kontrol edebileceğiniz faktördür.
• Popülerlik: İnternette daha popüler olan URL'ler, dizinimizde daha güncel kalmaları için genellikle daha sık taranır.
• Eskilik: Sistemlerimiz herhangi bir değişikliği tespit etmek için dokümanları sık sık yeniden taramak ister.

Ayrıca, site taşıma gibi site genelindeki etkinlikler, yeni URL'lerin içeriğini yeniden dizine eklemek için tarama talebindeki artışı tetikleyebilir.

Özet olarak

Tarama kapasitesini ve tarama talebini birlikte değerlendiren Google, bir sitenin tarama bütçesini Googlebot'un tarayabileceği ve taramak istediği URL grubu olarak tanımlar. Tarama talebi düşükse tarama kapasitesi sınırına ulaşılmasa bile Googlebot, sitenizi daha az tarar.

En iyi uygulamalar

Tarama verimliliğinizi en üst düzeye çıkarmak için aşağıdaki en iyi uygulamaları izleyin:

• URL envanterinizi yönetin: Uygun araçları kullanarak Google'a hangi sayfaların taranıp hangilerinin taranmayacağını bildirin. Google, dizin için uygun olmayan URL'leri taramaya çok fazla vakit harcarsa Googlebot, sitenizin geri kalanına bakmaya (veya bunun için bütçenizi artırmaya) değmeyeceğine karar verebilir.
  • Yinelenen içerikleri birleştirin. Benzersiz URL'lerden ziyade benzersiz içerikleri taramaya odaklanmak için yinelenen içerikleri kaldırın.
  • Robots.txt dosyasını kullanarak URL'lerin taranmasını engelleyin. Bazı sayfalar kullanıcılar için önemli olsa da Arama sonuçlarında görünmesini istemeyebilirsiniz. Örneğin, bağlantı verilen sayfalardaki bilgileri veya aynı sayfanın farklı şekilde sıralanmış sürümlerini kopyalayan sonsuz kaydırma sayfaları. Bunları ilk maddede açıklandığı gibi birleştiremiyorsanız arama için önemsiz olan bu sayfaları robots.txt dosyasını kullanarak engelleyin. URL'lerin robots.txt ile engellenmesi, bunların dizine eklenme olasılığını önemli ölçüde azaltır.
  • Kalıcı olarak kaldırılan sayfalar için 404 veya 410 durum kodunu döndürün. Google bildiği bir URL'yi unutmaz ama 404 kodu bu URL'yi tekrar taramaması yönünde güçlü bir sinyaldir. Ancak engellenen URL'ler uzun süre tarama sıranızın bir parçası olarak kalır ve engelleme kaldırıldığında yeniden taranır.
  • soft 404 hatayı kaldırın. soft 404 döndüren sayfalar taranmaya devam ederek bütçenizi boşa harcar. soft 404 hataları için Dizin Kapsamı raporunu kontrol edin.
  • Site haritalarınızı güncel tutun. Google, site haritanızı düzenli olarak okur. Bu nedenle, Google'ın taramasını istediğiniz tüm içeriği eklediğinizden emin olun. Sitenizde güncellenen içerik varsa <lastmod> etiketini eklemenizi öneririz.
  • Taramayı olumsuz yönde etkileyen uzun yönlendirme zincirlerinden kaçının.
• Sayfalarınızın etkin bir şekilde yüklenmesini sağlayın. Google, sayfalarınızı daha hızlı yükleyip oluşturabilirse sitenizden daha fazla içerik okuyabiliriz.
• Sitenizin taranmasını izleyin. Tarama sırasında sitenizin kullanılabilirlik sorunu olup olmadığını izleyip taramayı daha etkin hale getirmenin yollarını arayın.

Sitenizin taranmasını ve dizine eklenmesini izleme

Sitenizin tarama profilini izlemenin temel adımları şöyledir:

1. Googlebot'un sitenizde kullanılabilirlik sorunlarıyla karşılaşıp karşılaşmadığını öğrenin.
2. Taranmayan ancak taranması gereken sayfalarınız olup olmadığını kontrol edin.
3. Sitenizin herhangi bir bölümünün olduğundan daha hızlı taranmasının gerekli olup olmadığına bakın.
4. Sitenizin tarama etkinliğini artırın.
5. Sitenizin aşırı taranması sorununu giderin.

Googlebot'un sitenizde kullanılabilirlik sorunlarıyla karşılaşıp karşılaşmadığını öğrenin.

Sitenizin kullanılabilirliğini artırmak her zaman tarama bütçenizi artırmaz. Google daha önce açıklandığı gibi tarama talebine göre en iyi tarama hızını belirler. Ancak kullanılabilirlik sorunları, Google'ın sitenizi istediği kadar taramasını engeller.

Teşhis etme:

Googlebot'un sitenizle ilgili tarama geçmişini görmek için Tarama İstatistikleri raporunu kullanın. Google, sitenizde kullanılabilirlik sorunlarıyla karşılaştığında raporda bu gösterilir. Siteniz için kullanılabilirlik hataları veya uyarıları bildirilirse Ana makine kullanılabilirliği grafiklerinde Googlebot isteklerinin kırmızı sınır çizgisini aştığı örnekleri bulun, hangi URL'lerin başarısız olduğunu görmek için grafiği tıklayın ve bunları sitenizdeki sorunlarla ilişkilendirmeye çalışın.

Buna ek olarak, sitenizdeki birkaç URL'yi test etmek için URL Denetleme Aracı'nı da kullanabilirsiniz. Araç Ana makine yükü aşıldı uyarıları döndürürse Googlebot, sitenizde bulduğu URL'lerin hepsini tarayamaz.

Sorunun çözümü:

• Kullanılabilirlik sorunlarını nasıl bulup çözeceğinizi öğrenmek için Tarama İstatistikleri raporuyla ilgili dokümanları okuyun.
• Taranmasını istemediğiniz sayfaların taranmasını engelleyin. (Envanterinizi yönetin bölümüne bakın)
• Sayfa yükleme ve oluşturma hızını artırın. (Sitenizin tarama etkinliğini artırın bölümüne bakın)
• Sunucu kapasitenizi artırın. Google sitenizi sürekli olarak sunum kapasitesi sınırında taramasına rağmen hâlâ gerektiği kadar taranmayan veya güncellenmeyen önemli URL'leriniz varsa daha fazla sunum kaynağına sahip olmak Google'ın sitenizde daha fazla sayfa taramak istemesini sağlayabilir. Google tarama hızının belirlenen sınırı sıklıkla geçip geçmediğini görmek için Tarama İstatistikleri raporundaki ana makine kullanılabilirlik geçmişinizi kontrol edebilirsiniz. Böyle bir durumda sunum kaynaklarınızı bir ay boyunca artırın ve bu dönemde tarama isteklerinin artıp artmadığını kontrol edin.

Sitenizde taranması gerektiği halde taranmayan bölümler olup olmadığına bakın

Google, bulabildiği tüm yüksek kaliteli ve kullanıcı açısından değerli içerikleri dizine eklemek için sitenizde gerektiği kadar zaman geçirir. Googlebot'un önemli içerikleri bulamadığını düşünüyorsanız bunun nedeni içerikten haberdar olmaması, içeriğin Google tarafından engellenmesi veya sitenizin kullanılabilirliğinin Google'ın erişimini kısıtlaması (ya da Google'ın sitenizde aşırı yoğunluk oluşturmamaya çalışması) olabilir.

Teşhis etme:

Search Console, siteniz için URL'ye veya yola göre filtrelenebilen bir tarama geçmişi sağlamaz, ancak site günlüklerinizi inceleyerek belirli URL'lerin Googlebot tarafından taranıp taranmadığını görebilirsiniz. Bu taranan URL'lerin dizine eklenip eklenmemesi başka bir konudur.

Çoğu sitede yeni sayfaların fark edilmesinin en az birkaç gün süreceğini unutmayın. Haber siteleri gibi zamana duyarlı siteler hariç çoğu sitede, URL'lerin aynı gün taranması beklenmemelidir.

Sorunun çözümü:

Sitenize eklediğiniz sayfalar makul bir süre içinde taranmıyorsa bunun nedeni Google'ın bu sayfaları bilmemesi, içeriğin engellenmiş olması, sitenizin maksimum sunum kapasitesine ulaşması veya tarama bütçenizin tükenmesi olabilir.

1. Google'a yeni sayfalarınız hakkında bilgi verin: Site haritalarınızı yeni URL'leri yansıtacak şekilde güncelleyin.
2. Yanlışlıkla sayfaları engellemediğinizden emin olmak için robots.txt kurallarınızı inceleyin.
3. Tarama önceliklerinizi gözden geçirin (diğer bir deyişle, tarama bütçenizi akıllıca kullanın). Envanterinizi yönetin ve sitenizin tarama etkinliğini artırın.
4. Sunum kapasitenizin tükenmediğinden emin olun. Googlebot, sunucularınızın tarama isteklerine yanıt verme konusunda sorun yaşadığını tespit ederse tarama ölçeğini küçültür.

İçerik yeterince değerli değilse veya kullanıcılardan talep görmüyorsa, sayfalar taransa bile arama sonuçlarında gösterilmeyebilir.

Güncellemelerin yeterince hızlı bir şekilde taranıp taranmadığını kontrol edin

Sitenizdeki yeni veya güncellenmiş sayfaları taramadıysak bunun nedeni muhtemelen onları görmemiş veya güncellendiklerini fark etmemiş olmamızdır. Sayfa güncellemelerinden haberdar olmamıza nasıl yardımcı olabileceğiniz aşağıda açıklanmıştır.

Google'ın sayfaları mümkün olduğunca zamanında kontrol edip dizine eklemeye çalıştığını belirtmek isteriz. Çoğu site için bu süre en az üç gündür. Siteniz bir haber sitesi değilse veya yüksek değere sahip, zamana karşı son derece duyarlı başka bir içerik barındırmıyorsa Google'ın yayınladığınız gün içinde sayfaları dizine eklemesini beklemeyin.

Teşhis etme:

Belirli URL'lerin Googlebot tarafından ne zaman tarandığını görmek için site günlüklerinizi inceleyin.

Dizine ekleme tarihini öğrenmek için URL Denetleme aracını kullanın veya güncellediğiniz URL'lerle ilgili bir Google araması yapın.

Sorunun çözümü:

Şunları yapın:

• Sitenizde haber içeriği varsa haberler site haritasını kullanın.
• Dizine eklenmiş bir URL'nin ne zaman güncellendiğini belirtmek için site haritalarında <lastmod> etiketini kullanın.
• Google'ın sayfalarınızı bulmasına yardımcı olmak için basit bir URL yapısı kullanın.
• Google'ın sayfalarınızı bulmasına yardımcı olmak için standart, taranabilir <a> bağlantıları sağlayın.
• Sitenizde mobil ve masaüstü sürümleri için ayrı HTML kullanılıyorsa mobil sürümde, masaüstü sürümündeki bağlantıların aynısını sağlayın. Mobil sürümde aynı bağlantı grubunu sağlamak mümkün değilse bu bağlantıların bir site haritası dosyasına dahil edildiğinden emin olun. Google yalnızca sayfaların mobil sürümünü dizine ekler. Burada gösterilen bağlantıları sınırlamak, yeni sayfaların keşfedilmesini yavaşlatabilir.

Şunlardan kaçının:

• Aynı site haritasını değiştirmeden günde birkaç kez göndermek.
• Googlebot'un bir site haritasındaki her şeyi taramasını veya bunları hemen taramasını beklemek. Site haritaları mutlak gereksinimler değil, Googlebot için yararlı önerilerdir.
• Arama'da görünmesini istemediğiniz URL'leri site haritalarınıza ekleme. Bunu yapmak, tarama bütçenizin dizine eklenmesini istemediğiniz sayfalarla harcanmasına neden olabilir.

Sitenizin tarama etkinliğini artırın

Sayfa yükleme hızınızı artırma

Google'ın taraması; bant genişliği, süre ve Googlebot örneklerinin kullanılabilirliği ile sınırlıdır. Sunucunuz isteklere daha hızlı yanıt verirse sitenizde daha fazla sayfa tarayabiliriz. Bununla birlikte, Google yalnızca yüksek kaliteli içeriği taramak istediğinden düşük kaliteli sayfaları daha hızlı hale getirmek Googlebot'u sitenizin daha büyük bir bölümünü taramaya teşvik etmez. Öte yandan, sitenizdeki yüksek kaliteli içeriği gözden kaçırdığımızı düşünürsek muhtemelen bu içeriği taramak için bütçenizi artırırız.

Sayfalarınızı ve kaynaklarınızı tarama için nasıl optimize edebileceğiniz aşağıda açıklanmıştır:

• robots.txt dosyası kullanarak, büyük fakat önemsiz kaynakların Googlebot tarafından yüklenmesini önleyin. Yalnızca kritik olmayan kaynakları, yani sayfanın anlamını kavramak açısından önemli olmayan kaynakları (ör. süsleme amaçlı resimler) engellediğinizden emin olun.
• Sayfalarınızın hızlı yüklendiğinden emin olun.
• Taramayı olumsuz yönde etkileyen uzun yönlendirme zincirlerine dikkat edin.
• Hem sunucu isteklerine yanıt verme süresi hem de sayfaları oluşturmak için gereken süre (resimler ve komut dosyaları gibi yerleşik kaynaklar için yükleme ve çalıştırma süresi dahil) önemlidir. Dizine ekleme için gereken büyük veya yavaş kaynaklara dikkat edin.

HTTP durum kodlarıyla içerik değişikliklerini belirtme

Google genellikle tarama için If-Modified-Since ve If-None-Match HTTP istek başlıklarını destekler. Google tarayıcıları, başlıkları tüm tarama denemeleriyle göndermez. Bu, isteğin kullanım alanına bağlıdır (örneğin, AdsBot'un If-Modified-Since ve If-None-Match HTTP istek başlıklarını ayarlama olasılığı daha yüksektir). Tarayıcılarımız If-Modified-Since başlığını gönderirse başlığın değeri, içeriğin son tarandığı tarih ve saat olur. Bu değere bağlı olarak sunucu, yanıt gövdesi olmadan bir 304 (Not Modified) HTTP durum kodu döndürmeyi tercih edebilir. Bu durumda Google, en son taradığı içerik sürümünü yeniden kullanır. İçerik, tarayıcının If-Modified-Since başlığında belirttiği tarihten daha yeniyse sunucu, yanıt gövdesi olan bir 200 (OK) HTTP durum kodu döndürebilir.

İstek başlıklarından bağımsız olarak, Googlebot'un URL'yi son ziyaretinden beri içerik değişmediyse Googlebot istekleri için yanıt gövdesi olmadan 304 (Not Modified) HTTP durum kodu gönderebilirsiniz. Bu şekilde, sunucunuzun işlem süresinden ve kaynaklardan tasarruf ederek tarama verimliliğini dolaylı olarak artırabilirsiniz.

Arama sonuçlarında görünmesini istemediğiniz URL'leri gizleme

Sunucu kaynaklarını gereksiz sayfalarda boşa harcamak, sizin için önemli olan sayfalardaki tarama etkinliğini azaltabilir. Bu da bir sitedeki yeni veya güncellenmiş iyi içeriklerin bir hayli geç keşfedilmesine neden olabilir.

Sitenizde Arama tarafından taranmasını istemediğiniz çok sayıda URL'nin gösterilmesi, sitenin taranmasını ve dizine eklenmesini olumsuz etkileyebilir. Bu URL'ler genellikle aşağıdaki kategorilere girer:

• Filtreli (faceted) gezinme ve oturum tanımlayıcıları: Filtreli gezinme, sitedeki yinelenen içeriktir. Yalnızca sayfayı sıralayan veya filtreleyen oturum tanımlayıcıları ve diğer URL parametreleri yeni içerik sağlamaz. Filtreli gezinme sayfalarını engellemek için robots.txt dosyasını kullanın.
• Yinelenen içerik: Gereksiz taramayı önlemek için Google'ın yinelenen içeriği tanımlamasına yardımcı olun.
• soft 404 sayfaları: Bir sayfa yayından kalktığında 404 kodu döndürün.
• Saldırıya uğramış sayfalar: Güvenlik Sorunları raporunu kontrol ettiğinizden ve bulduğunuz saldırıya uğramış sayfaları düzelttiğinizden veya kaldırdığınızdan emin olun.
• Sonsuz boşluklar ve proxy'ler: Bunların taranmasını robots.txt ile engelleyin.
• Düşük kaliteli ve spam içerik: Bunlardan tabii ki kaçınılmalıdır.
• Alışveriş sepeti sayfaları, sonsuz kaydırma sayfaları ve işlem gerçekleştiren sayfalar (ör. "kaydolun" veya "hemen satın alın" sayfaları).

Şunları yapın:

• Google'ın bir kaynağı veya sayfayı hiç taramamasını istiyorsanız robots.txt dosyasını kullanın.
• Ortak bir kaynak birden fazla sayfada yeniden kullanılıyorsa (ör. paylaşılan bir resim veya JavaScript dosyası) Google'ın aynı kaynağı birden çok kez istemesine gerek kalmadan önbelleğe ekleyip yeniden kullanabilmesi için aynı URL'deki kaynağa başvurun.

Şunlardan kaçının:

• Siteniz için tarama bütçesini yeniden tahsis etmek amacıyla robots.txt'ye düzenli olarak sayfa veya dizin ekleyip kaldırmayın. robots.txt dosyasını, yalnızca uzun vadede Google'da görünmesini istemediğiniz sayfalar veya kaynaklar için kullanın.
• "Bütçeyi yeniden tahsis etmek" için site haritalarını dönüşümlü yayınlamayın veya diğer geçici gizleme mekanizmalarını kullanmayın.

Sitenizin aşırı taranması sorununu giderme (acil durumlar)

Googlebot, tarama istekleriyle sitenizde aşırı yük oluşturmasını önleyen algoritmalara sahiptir. Ancak Googlebot'un sitenizde aşırı yük oluşturduğunu fark ederseniz yapabileceğiniz birkaç şey vardır.

Teşhis etme:

Sunucunuzu izleyerek sitenize Googlebot'tan çok fazla istek gelip gelmediğine bakın.

Sorunun çözümü:

Acil bir durumda, Googlebot'un aşırı yük oluşturan taramasını yavaşlatmak için aşağıdaki adımları uygulamanızı öneririz:

1. Sunucunuzda aşırı yük oluştuğunda Googlebot istekleri için geçici olarak 503 veya 429 HTTP yanıt durum kodlarını döndürün. Googlebot yaklaşık 2 gün boyunca bu URL'leri yeniden taramayı dener. "Kullanılamıyor" kodlarını birkaç günden fazla döndürürseniz Google'ın sitenizdeki URL'leri taraması kalıcı olarak yavaşlar veya durur. Bu yüzden aşağıdaki ek adımları uygulayın.
2. Tarama hızı düştüğünde, tarama istekleri için 503 veya 429 HTTP yanıtı durum kodları döndürmeyi bırakın; 503 veya 429 durum kodlarını 2 günden fazla döndürürseniz Google, söz konusu URL'leri dizinden çıkarır.
3. Zaman içinde tarama ve ana makine kapasitenizi izleyin.
4. Sorunlu tarayıcı AdsBot tarayıcılarından biriyse büyük olasılıkla sorun, siteniz için oluşturduğunuz ve Google'ın taramaya çalıştığı Dinamik Arama Ağı Reklamları hedefleridir. Bu tarama her 3 haftada bir yeniden gerçekleşir. Bu taramaları kaldırabilecek sunucu kapasitesiniz yoksa reklam hedeflerinizi sınırlandırmanız veya sunum kapasitesini artırmanız gerekir.

Tarama ile ilgili gerçekler ve doğru bilinen yanlışlar

Google'ın web sitelerini nasıl taradığı ve dizine eklediğiyle ilgili bilginizi test edin.