Mitos dan fakta tentang crawling

Benar

Salah

Tidak. Peta situs yang di-zip masih harus diambil dari server, sehingga Anda tidak benar-benar menghemat banyak waktu atau upaya crawling dari pihak Google dengan mengirimkan peta situs yang dikompresi.

Benar

Salah

Untuk Google Penelusuran, konten dinilai berdasarkan kualitas, terlepas dari usianya. Buat dan perbarui konten Anda jika diperlukan, tetapi tidak ada nilai tambah bagi halaman yang dibuat seolah-olah tampak baru dengan membuat perubahan kecil dan memperbarui tanggal halaman.

Benar

Salah

Jika halaman Anda berguna, halaman tersebut akan berguna, baik baru maupun lama.

Benar

Salah

Kami dapat meng-crawl parameter.

Benar

Benar, karena resource kami dibatasi oleh kombinasi waktu dan jumlah bot crawling. Jika Anda dapat menayangkan lebih banyak halaman dalam waktu yang terbatas, kami akan dapat meng-crawl lebih banyak halaman. Namun, kami mungkin mengalokasikan lebih banyak waktu untuk meng-crawl situs yang memiliki informasi yang lebih penting, meskipun situs tersebut lebih lambat. Mungkin menurut Anda, membuat situs lebih cepat bagi pengguna lebih penting daripada membuatnya lebih cepat untuk meningkatkan cakupan crawl. Jauh lebih mudah untuk membantu Google meng-crawl konten yang tepat dibandingkan meng-crawl semua konten Anda setiap saat. Perhatikan bahwa meng-crawl situs melibatkan pengambilan dan rendering konten. Waktu yang digunakan untuk proses rendering halaman dihitung sebanyak waktu yang dihabiskan untuk meminta halaman. Jadi, membuat halaman Anda dirender lebih cepat juga akan meningkatkan kecepatan crawling.

Salah

Benar

Salah

Jika situs memiliki konten penting yang sering berubah, kami akan sering meng-crawl situs tersebut, terlepas dari ukurannya.

Benar

Sebagian benar

Halaman beranda situs biasanya adalah halaman yang paling penting di situs Anda, sehingga halaman yang ditautkan langsung ke halaman beranda mungkin dianggap lebih penting dan lebih sering di-crawl. Namun, ini tidak berarti bahwa peringkat halaman ini akan lebih tinggi daripada halaman lain di situs Anda.

Salah

Benar

Sebagian benar

Anda dapat menggunakan URL yang diberi nomor versi agar Google meng-crawl halaman Anda lagi secara lebih cepat. Namun, umumnya tindakan ini tidak diperlukan dan akan menyia-nyiakan resource crawl jika halaman tidak benar-benar berubah. Jika menggunakan URL yang diberi nomor versi untuk menunjukkan konten baru, sebaiknya hanya ubah URL ketika konten halaman telah berubah secara signifikan.

Salah

Benar

Mempercepat situs akan memperbaiki pengalaman pengguna sekaligus meningkatkan frekuensi crawling. Bagi crawler Google, situs yang cepat menunjukkan bahwa server dalam kondisi bagus, sehingga crawler dapat memperoleh lebih banyak konten dengan jumlah koneksi yang sama. Di sisi lain, jumlah kode status respons HTTP 5xx (error server) atau waktu tunggu koneksi yang signifikan menandakan sebaliknya, dan crawl akan melambat. Sebaiknya perhatikan laporan Statistik Crawling di Search Console dan pastikan jumlah error server rendah.

Salah

Benar

Salah

Peningkatan frekuensi crawling belum tentu akan meningkatkan posisi situs pada hasil penelusuran Google. Google menggunakan banyak sinyal untuk menentukan peringkat hasil, dan meskipun diperlukan untuk membuat halaman muncul di hasil penelusuran, crawling bukan sinyal penentu peringkat.

Benar

Umumnya, setiap URL yang di-crawl Googlebot akan memengaruhi anggaran crawling situs. URL alternatif, seperti AMP atau hreflang, serta konten yang disematkan, seperti CSS dan JavaScript, termasuk pengambilan XHR, mungkin harus di-crawl dan akan menghabiskan anggaran crawling situs.

Salah

Benar

Salah

Aturan robots.txt "crawl-delay" non-standar tidak diproses oleh crawler Google.

Benar

Sebagian benar

URL apa pun yang di-crawl akan memengaruhi anggaran crawling, jadi meskipun jika halaman Anda menandai URL sebagai nofollow, URL tersebut masih dapat di-crawl apabila halaman lain di situs Anda, atau halaman apa pun di web, tidak memberi label link sebagai nofollow.

Salah

Benar

Sebagian benar

Setiap URL yang di-crawl akan memengaruhi anggaran crawling, dan Google harus meng-crawl halaman untuk menemukan aturan noindex.

Namun, noindex dapat membantu Anda mencegah pengindeksan halaman. Jika Anda ingin memastikan bahwa halaman tersebut tidak diindeks oleh Google, terus gunakan noindex dan jangan khawatir tentang anggaran crawling. Penting juga untuk diperhatikan bahwa jika Anda menghapus URL dari indeks Google dengan noindex atau dengan cara lain, crawler Google dapat berfokus pada URL lain di situs Anda, sehingga noindex dapat secara tidak langsung mengosongkan sebagian anggaran crawling untuk situs Anda dalam jangka panjang.

Salah

Benar

Salah

Halaman yang menayangkan kode status HTTP 4xx (kecuali 429) tidak membuang anggaran crawling. Google mencoba meng-crawl halaman, tetapi tidak menerima konten apa pun kecuali kode status.