Penjelasan tentang penghapusan URL, Bagian I: URL dan direktori

Selasa, 30 Maret 2010

Saat ini, ada banyak konten di internet. Terkadang mungkin akan ada sesuatu yang tidak Anda inginkan tersebar secara online—bisa berupa apa saja dari postingan blog provokatif yang Anda sesali telah memublikasikannya, hingga data rahasia yang tidak sengaja terekspos. Sering kali, menghapus atau membatasi akses ke konten ini akan menyebabkan konten tersebut hilang dengan sendirinya dari hasil penelusuran setelah beberapa saat. Namun, jika Anda ingin segera menghapus konten yang tidak diinginkan yang terindeks oleh Google dan Anda tidak dapat menunggu sampai konten tersebut hilang dengan sendirinya, gunakan alat penghapusan URL kami untuk mempercepat proses penghapusan konten dari hasil penelusuran selama konten itu memenuhi kriteria tertentu (yang akan kami bahas di bawah).

Kami telah menyiapkan seri postingan blog yang menjelaskan cara agar berhasil menghapus berbagai jenis konten, dan kesalahan umum yang harus dihindari. Dalam postingan pertama ini, saya akan membahas beberapa skenario dasar: menghapus satu URL, menghapus seluruh direktori atau situs, dan menyertakan kembali konten yang telah dihapus. Kami juga sangat merekomendasikan untuk membaca postingan sebelumnya terkait mengelola informasi tentang Anda yang tersedia secara online.

Menghapus satu URL

Umumnya, agar permintaan penghapusan Anda berhasil, pemilik URL yang dipermasalahkan—baik itu Anda atau orang lain—harus menunjukkan bahwa konten tersebut boleh dihapus. Untuk tiap-tiap URL, hal ini dapat dilakukan dengan salah satu dari tiga cara berikut:

Sebelum mengirimkan permintaan penghapusan, Anda dapat memeriksa apakah URL sudah diblokir dengan benar:

  • robots.txt: Anda dapat memeriksa apakah URL sudah diblokir dengan benar menggunakan fitur Fetch as Googlebot atau Uji robots.txt di Alat WebMaster.
  • Tag meta noindex: Anda dapat menggunakan Fetch as Googlebot untuk memastikan tag meta muncul di antara tag <head> dan </head>. Jika Anda ingin memeriksa suatu halaman yang tidak dapat diverifikasi di Alat Webmaster, Anda dapat membuka URL-nya di browser, buka Tampilan > Sumber halaman, lalu pastikan Anda melihat tag meta tersebut di antara tag <head> dan </head>.
  • Kode status 404 dan 410: Anda dapat menggunakan Fetch as Googlebot, atau alat seperti Live HTTP Headers atau web-sniffer.net untuk memverifikasi apakah URL tersebut benar-benar menampilkan kode yang benar. Terkadang, halaman yang "dihapus" dapat menampilkan "404" atau "Tidak ditemukan" di halaman, tetapi sebenarnya menampilkan kode status 200 di header halaman. Jadi, sebaiknya gunakan alat pemeriksaan header yang tepat untuk memeriksa kembali.

Jika konten yang tidak diinginkan telah dihapus dari halaman, tetapi halaman belum diblokir dengan salah satu cara di atas, Anda tidak akan dapat sepenuhnya menghapus URL tersebut dari hasil penelusuran. Hal ini paling sering terjadi jika Anda bukan pemilik situs yang menghosting konten tersebut. Kami akan membahas hal yang perlu dilakukan dalam situasi ini di postingan berikutnya di Bagian II dari seri penghapusan kami.

Jika URL memenuhi salah satu kriteria di atas, Anda dapat menghapusnya dengan membuka Alat Penghapusan, memasukkan URL yang ingin dihapus, lalu memilih opsi "Webmaster sudah memblokir halaman". Perhatikan bahwa Anda harus memasukkan URL tempat konten dihosting, bukan URL penelusuran Google tempat konten tersebut muncul. Misalnya, masukkan https://www.example.com/embarrassing-stuff.html, bukan https://www.google.com/search?q=embarrassing+stuff.

Artikel pusat bantuan kami berisi detail selengkapnya tentang cara memastikan URL yang dimasukkan sudah tepat. Ingat, jika Anda tidak memberi tahu kami URL spesifik yang dipermasalahkan, kami tidak akan dapat menghapus konten yang Anda maksud.

Menghapus seluruh direktori atau situs

Agar penghapusan direktori atau seluruh situs berhasil, direktori atau situs tersebut tidak boleh diizinkan di file robots.txt. Misalnya, untuk menghapus direktori https://www.example.com/secret/, file robots.txt Anda harus menyertakan: 

User-agent: *
Disallow: /secret/

Tidak cukup bagi root direktori untuk menampilkan kode status 404, karena suatu direktori mungkin menampilkan 404, tetapi tetap menayangkan file di bawahnya. Dengan menggunakan robots.txt untuk memblokir suatu direktori (atau seluruh situs), dapat dipastikan bahwa semua URL yang ada di direktori (atau situs) tersebut juga diblokir. Anda dapat menguji apakah direktori telah diblokir dengan benar menggunakan fitur Fetch as Googlebot atau Uji robots.txt di Alat WebMaster.

Hanya pemilik situs terverifikasi yang dapat meminta penghapusan seluruh situs atau direktori di Alat WebMaster. Untuk meminta penghapusan direktori atau situs, klik situs yang dipermasalahkan, lalu buka Konfigurasi situs > Akses crawler > Hapus URL. Jika Anda memasukkan root situs sebagai URL yang ingin dihapus, Anda akan diminta untuk mengonfirmasi bahwa Anda ingin menghapus seluruh situs tersebut. Jika Anda memasukkan subdirektori, pilih opsi "Hapus direktori" dari menu drop-down.

Menyertakan kembali konten

Anda dapat membatalkan permintaan penghapusan untuk situs apa pun yang Anda miliki kapan saja, termasuk situs yang dikirimkan oleh orang lain. Untuk melakukannya, Anda harus menjadi pemilik terverifikasi situs ini di Alat WebMaster. Setelah memverifikasi kepemilikan, Anda dapat membuka Konfigurasi situs > Akses crawler > Hapus URL > URL yang dihapus (atau > Dibuat orang lain) lalu klik "Batal" di samping permintaan yang ingin dibatalkan.

Masih ada pertanyaan? Nantikan seri kami lainnya tentang penghapusan konten dari hasil penelusuran Google. Jika tidak ingin menunggu, kami sudah banyak menulis artikel tentang penghapusan URL, dan pemecahan masalah untuk setiap kasus, di Forum Bantuan kami. Anda dapat bertanya jika ada pertanyaan yang muncul setelah membaca pengalaman orang lain. Perhatikan bahwa, sering kali, kami kesulitan memberikan saran yang relevan tentang penghapusan tertentu jika tidak mengetahui situs atau URL yang dipermasalahkan. Sebaiknya bagikan URL Anda menggunakan layanan penyingkatan URL agar URL yang dipermasalahkan tidak diindeks sebagai bagian dari postingan Anda; beberapa layanan penyingkatan bahkan memungkinkan Anda menonaktifkan pintasan di lain waktu, setelah pertanyaan Anda terjawab.

Terakhir, Anda mungkin juga tertarik untuk membaca informasi terkait mengelola informasi tentang Anda yang tersedia secara online.

Diposting oleh Susan Moskwa, Webmaster Trends Analyst