Pengaruh kode status HTTP, error jaringan, dan error DNS terhadap Google Penelusuran

Halaman ini menjelaskan bagaimana kode status HTTP, error jaringan, dan error DNS yang berbeda memengaruhi Google Penelusuran. Kami membahas 20 kode status yang paling banyak ditemukan Googlebot di web, serta error jaringan dan error DNS yang paling sering terjadi. Kode status yang lebih jarang ditemukan, seperti 418 (I'm a teapot), tidak akan dibahas. Semua masalah yang disebutkan di halaman ini menyebabkan munculnya peringatan atau error terkait dalam Laporan Pengindeksan Halaman di Search Console.

Kode status HTTP

Kode status HTTP dibuat oleh server yang menghosting situs saat merespons permintaan yang dibuat oleh klien, misalnya browser atau crawler. Setiap kode status HTTP memiliki arti yang berbeda, tetapi sering kali hasil permintaannya sama. Misalnya, ada beberapa kode status yang memberi sinyal pengalihan, tetapi hasilnya tetap sama.

Search Console memunculkan pesan error untuk kode status dalam rentang 4xx–5xx dan untuk pengalihan yang gagal (3xx). Jika server merespons dengan kode status 2xx, konten yang diterima dalam respons tersebut mungkin dipertimbangkan untuk pengindeksan.

Tabel berikut berisi kode status HTTP yang paling banyak ditemukan oleh Googlebot dan penjelasan mengenai cara Google menangani setiap kode status.

Kode status HTTP

2xx (success)

Google mempertimbangkan konten untuk pengindeksan. Jika konten berisi error, misalnya halaman kosong atau ada pesan error, Search Console akan menampilkan error soft 404.

200 (success)

Google meneruskan konten ke pipeline pengindeksan. Sistem pengindeksan mungkin akan mengindeks konten, tetapi ini tidak dijamin.

201 (created)
202 (accepted)

Googlebot menunggu konten selama waktu yang terbatas, lalu meneruskan apa pun yang diterimanya ke pipeline pengindeksan. Waktu tunggu bergantung pada agen pengguna, misalnya Googlebot Smartphone mungkin memiliki waktu tunggu yang berbeda dengan Googlebot Image.

204 (no content)

Googlebot memberi sinyal pada pipeline pengindeksan bahwa tidak ada konten yang diterima. Search Console dapat menampilkan error soft 404 dalam Laporan Pengindeksan Halaman situs.

3xx (redirection)

Googlebot mengikuti maksimal 10 lompatan pengalihan. Jika crawler tidak menerima konten dalam 10 lompatan, Search Console akan menampilkan error pengalihan di Laporan Pengindeksan Halaman situs. Jumlah lompatan yang diikuti Googlebot bergantung pada agen pengguna; misalnya, Googlebot Smartphone mungkin memiliki nilai yang berbeda dengan Googlebot Image.

Sedangkan untuk robots.txt, Googlebot mengikuti setidaknya lima lompatan pengalihan seperti yang ditetapkan oleh RFC 1945, lalu berhenti dan memperlakukannya sebagai 404 untuk file robots.txt.

Konten apa pun yang diterima Googlebot dari URL alihan akan diabaikan, dan konten akhir URL target akan dipertimbangkan untuk pengindeksan.

301 (moved permanently)

Googlebot mengikuti pengalihan, sedangkan pipeline pengindeksan menggunakan pengalihan sebagai sinyal yang kuat bahwa target pengalihan harus kanonis.

302 (found)

Googlebot mengikuti pengalihan, sedangkan pipeline pengindeksan menggunakan pengalihan sebagai sinyal yang lemah bahwa target pengalihan harus kanonis.

303 (see other)
304 (not modified)

Googlebot memberi sinyal pada pipeline pengindeksan bahwa kontennya sama seperti saat terakhir kali di-crawl. Pipeline pengindeksan mungkin menghitung ulang sinyal untuk URL, tetapi kode status tetap tidak akan memengaruhi pengindeksan.

307 (temporary redirect) Setara dengan 302.
308 (moved permanently) Setara dengan 301.

4xx (client errors)

Pipeline pengindeksan Google tidak mempertimbangkan URL yang menampilkan kode status 4xx untuk pengindeksan, serta URL yang sudah diindeks dan menampilkan kode status 4xx akan dihapus dari indeks.

Konten apa pun yang diterima Googlebot dari URL yang menampilkan kode status 4xx akan diabaikan.

400 (bad request)

Semua error 4xx, kecuali 429, diperlakukan dengan cara yang sama: Googlebot memberi sinyal pada pipeline pengindeksan bahwa konten tidak ada.

Pipeline pengindeksan menghapus URL dari indeks jika sebelumnya telah diindeks. Halaman 404 yang baru ditemukan tidak diproses. Frekuensi crawling menurun secara bertahap.

401 (unauthorized)
403 (forbidden)
404 (not found)
410 (gone)
411 (length required)
429 (too many requests)

Googlebot memperlakukan kode status 429 sebagai sinyal bahwa server kelebihan beban dan dianggap sebagai error server.

5xx (server errors)

Error server 5xx dan 429 meminta crawler Google untuk memperlambat crawling untuk sementara. URL yang sudah diindeks dipertahankan dalam indeks, tetapi pada akhirnya dihapus.

Jika file robots.txt menampilkan kode status error server selama lebih dari 30 hari, Google akan menggunakan salinan robots.txt yang terakhir di-cache. Jika tidak tersedia, Google akan berasumsi bahwa tidak ada batasan crawl.

Konten apa pun yang diterima Googlebot dari URL yang menampilkan kode status 5xx akan diabaikan.

500 (internal server error)

Googlebot menurunkan kecepatan crawling untuk situs. Penurunan kecepatan crawling sebanding dengan jumlah tiap-tiap URL yang menampilkan error server. Jika URL terus-menerus menampilkan error server, pipeline pengindeksan Google akan menghapusnya dari indeks.

502 (bad gateway)
503 (service unavailable)

soft 404 error

Error soft 404 adalah URL yang menampilkan halaman yang memberi tahu pengguna bahwa halaman tidak ada dan memiliki kode status 200 (success). Dalam beberapa kasus, halaman tersebut mungkin tidak memiliki konten utama atau halaman kosong.

Halaman tersebut dapat dibuat karena berbagai alasan oleh sistem pengelolaan konten atau server web situs Anda, atau browser pengguna. Contoh:

  • File server-side includes tidak ada.
  • Koneksi ke database terputus.
  • Halaman hasil penelusuran internal kosong.
  • File JavaScript yang tidak dimuat atau tidak ada.

Pengalaman pengguna yang buruk akan memunculkan kode status 200 (success), tetapi kemudian menampilkan atau menyarankan pesan error atau suatu jenis error di halaman. Pengguna mungkin menganggap halaman tersebut adalah halaman yang masih ditayangkan, tetapi ternyata ada error. Halaman tersebut dikecualikan dari Penelusuran.

Saat algoritma Google mendeteksi bahwa halaman tersebut sebenarnya adalah halaman error berdasarkan kontennya, Search Console akan menampilkan error soft 404 di Laporan Pengindeksan Halaman situs.

Memperbaiki error soft 404

Bergantung pada status halaman dan hasil yang diinginkan, Anda dapat memperbaiki error soft 404 menggunakan beberapa cara:

Coba tentukan solusi terbaik untuk pengguna Anda.

Halaman dan konten tidak lagi tersedia

Jika Anda menghapus halaman dan tidak ada halaman pengganti dengan konten yang mirip di situs Anda , tampilkan kode (status) respons 404 (not found) atau 410 (gone) untuk halaman tersebut. Kode status ini menunjukkan pada mesin telusur bahwa halaman tersebut tidak ada dan konten tersebut seharusnya tidak diindeks.

Jika memiliki akses ke file konfigurasi server, Anda dapat membuat halaman error ini bermanfaat bagi pengguna dengan menyesuaikannya. Halaman 404 kustom yang baik akan membantu orang menemukan informasi yang mereka cari, dan juga memberikan konten yang bermanfaat lainnya yang mendorong orang untuk menjelajahi situs Anda lebih lanjut. Berikut adalah beberapa tips untuk merancang halaman 404 kustom yang bermanfaat:

  • Beri tahu secara jelas kepada pengunjung bahwa halaman yang mereka cari tidak dapat ditemukan. Gunakan bahasa yang ramah dan mengundang.
  • Pastikan halaman 404 Anda memiliki tampilan dan nuansa yang sama (termasuk navigasinya) dengan seluruh situs Anda.
  • Pertimbangkan untuk menambahkan link ke artikel atau postingan yang paling populer, serta link ke halaman beranda situs Anda.
  • Pertimbangkan untuk memberi pengguna cara untuk melaporkan link rusak.

Halaman 404 kustom dibuat hanya untuk pengguna. Karena halaman ini tidak berguna dari perspektif mesin telusur, pastikan server menampilkan kode status HTTP 404 agar halaman tidak diindeks.

Halaman atau konten sekarang berada di tempat lain

Jika halaman telah dipindahkan atau memiliki pengganti yang jelas di situs Anda, tampilkan 301 (permanent redirect) untuk mengalihkan pengguna. Pengalihan ini tidak akan mengganggu pengalaman penjelajahan pengguna dan juga merupakan cara yang bagus untuk memberi tahu mesin telusur tentang lokasi baru halaman tersebut. Gunakan Alat Inspeksi URL untuk memverifikasi apakah URL Anda benar-benar menampilkan kode yang tepat.

Halaman dan konten masih ada

Jika halaman yang baik ditandai dengan error soft 404, halaman tersebut mungkin tidak dimuat dengan benar oleh Googlebot, tidak memiliki resource penting, atau menampilkan pesan error penting selama proses rendering. Gunakan Alat Inspeksi URL untuk memeriksa konten yang dirender dan kode HTTP yang ditampilkan. Jika halaman yang dirender kosong, hampir kosong, atau kontennya memiliki pesan error, mungkin halaman Anda mereferensikan banyak resource yang tidak dapat dimuat (gambar, skrip, dan elemen non-tekstual lainnya), yang dapat dianggap sebagai soft 404. Alasan resource tidak dapat dimuat meliputi resource diblokir (oleh robots.txt), ada terlalu banyak resource dalam satu halaman, terjadi berbagai error server, pemuatan yang lambat, atau resource berukuran sangat besar.

Error jaringan dan error DNS

Error jaringan dan error DNS memberikan efek negatif yang singkat terhadap kehadiran URL di Google Penelusuran. Googlebot memperlakukan waktu tunggu jaringan, reset koneksi, dan error DNS mirip seperti error server 5xx. Dalam kasus error jaringan, crawling akan segera mulai melambat, karena error jaringan merupakan tanda bahwa server mungkin tidak dapat menangani beban penayangan. Karena Googlebot tidak dapat menjangkau server yang menghosting situs, Google juga belum menerima konten apa pun dari server tersebut. Kurangnya konten berarti Google tidak dapat mengindeks URL yang di-crawl, dan URL yang sudah diindeks yang tidak dapat dijangkau akan dihapus dari indeks Google dalam beberapa hari. Masing-masing error tersebut dapat menyebabkan Search Console mengalami masalah.

Mendebug error jaringan

Error jaringan terjadi sebelum Google mulai meng-crawl URL atau pada saat Google meng-crawl URL. Karena error dapat terjadi sebelum server dapat merespons sehingga tidak ada kode status yang memberitahukan adanya masalah, error jaringan semacam ini dapat lebih sulit untuk didiagnosis. Untuk mendebug error waktu tunggu dan reset koneksi:

  • Periksa setelan firewall dan log Anda. Mungkin ada sekumpulan aturan pemblokiran yang terlalu luas. Pastikan alamat IP Googlebot tidak diblokir oleh aturan firewall apa pun.
  • Periksa traffic jaringan Anda. Gunakan alat seperti tcpdump dan Wireshark untuk menangkap serta menganalisis paket TCP, lalu cari anomali yang mengarah ke modul server atau komponen jaringan tertentu.
  • Jika tidak menemukan sesuatu yang mencurigakan, hubungi perusahaan hosting Anda.

Error mungkin terjadi pada komponen server yang menangani traffic jaringan. Misalnya, antarmuka jaringan yang kelebihan beban dapat melepas paket yang menyebabkan waktu tunggu (ketidakmampuan untuk membuat koneksi) dan mereset koneksi (paket RST dikirim karena sebuah port keliru ditutup).

Mendebug error DNS

Error DNS paling sering disebabkan oleh kesalahan konfigurasi, tetapi juga dapat disebabkan oleh aturan firewall yang memblokir kueri DNS Googlebot. Untuk mendebug error DNS, lakukan hal-hal berikut:

  • Periksa aturan firewall Anda. Pastikan tidak ada IP Google yang diblokir oleh aturan firewall, serta permintaan UDP dan TCP diizinkan.
  • Lihat data DNS Anda. Pastikan kembali bahwa data A dan CNAME Anda mengarah ke alamat IP dan nama host yang benar. Contoh: 
    dig +nocmd example.com a +noall +answer
     
    dig +nocmd www.example.com cname +noall +answer
  • Pastikan bahwa semua server nama Anda mengarah ke alamat IP situs yang benar. Contoh: 
    dig +nocmd example.com ns +noall +answer
example.com.    86400  IN  NS  a.iana-servers.net.
example.com.    86400  IN  NS  b.iana-servers.net.
dig +nocmd @a.iana-servers.net example.com +noall +answer
example.com.    86400  IN  A  93.184.216.34
dig +nocmd @b.iana-servers.net example.com +noall +answer
...
  • Jika Anda telah melakukan perubahan pada konfigurasi DNS dalam 72 jam terakhir, Anda mungkin harus menunggu sampai perubahan diterapkan di seluruh jaringan DNS global. Untuk mempercepat penerapan, Anda dapat menghapus cache DNS Publik Google
  • Jika Anda menjalankan server DNS sendiri, pastikan server tersebut tidak bermasalah dan tidak kelebihan beban.