Mengatasi Blog Diindeks, meski diblokir oleh robots.txt

Nofantz at 5/16/2019

Hai, masih bersama Nofantz.COM. Kali ini saya akan membahas tentang pesan dari Google Search Console tentang Diindeks, meski diblokir oleh robots.txt. Pernah menemui kasus serupa? Saya rasa pasti pernah. Dan bagaimana cara menanganinya? Kalau bagi seorang master Blogger pasti peringatan seperti ini bukan menjadi masalah yang besar, tapi bagi blogger pemula seperi saya ini pastinya merasa kebingungan. Benar gak...?

Sebetulnya, Diindeks, meski diblokir oleh robots.txt artinya halaman blog kamu tetap terindex oleh google walaupun ada yang di blokir oleh robot.txt. Kalian bisa cek URL mana yang di blokir oleh robot.txt ini melalui tautan yang disematkan dalam email atau langsung lewat Google Webmaster Tool. Kalau untuk setingan standar dari blogspot, URL yang di blokir oleh robot.txt ini adalah URL pencarian atau /search. Seperti itu sebetulnya tidak masalah bagi Blog kalian, karena pencarian di Google Search jarang dan hampir tidak pernah menampilkan URL /Search. Jadi tidak perlu di khawatirkan pesan dari Google Search Console tersebut.

Unblock robot.txt

Bila menginginkan untuk membuka blokirannya cara nya sangat gampang. Kalian bisa ikuti tutorial dibawah ini.

Langkah Pertama

Buka link atau tautan yang terdapat dalam pesan. Atau buka Google Webmaster Tool - Liputan - Klik pada kotak Valid dengan peringatan Dibagian detail, klik pada Diindeks, meski diblokir oleh robots.txt. Disana terdapat beberapa link URL yang di blokir oleh robot.txt.
Biasanya URL yang diblokir adalah https://domain/search/label. Bila memang seperti itu, berarti URL pencarian atau Search yang diblokir oleh robot.txt.

Langkah Kedua

Lakukan uji URL melalui menu robot.txt Tester. Menu ini dapat ditemukan pada Google Webmaster Tool versi lama. Masukkan URL nya pada kolom Enter a URL to test if it is blocked kemudian klik tombol Test. Akan dijumpai Disallow: /search berwarna merah. Artinya, URL search yang di blokir oleh robot.txt.

Langkah Ketiga

Untuk membuka blokirannya agar status menjadi Allow, buka Dashboard blogger kalian. Buka Setelan - Preferensi penelusuran - Robot.txt khusus pilih Ya. Isikan kode seperti dibawah, kemudian Simpan perubahan.

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /
Allow: /

Sitemap: https://www.domainkamu/sitemap.xml

Atau bisa juga dengan menghapus tulisan Search kemudian klik submit.

Untuk memastikan keberhasilnya, bisa ulangi Langkah Kedua. Bila status sudah Allow lakukan validasi ulang melalui Google Webmaster Tool versi baru / Google Search Console pada menu Liputan - Diindeks, meski diblokir oleh robots.txt - Detail validasi

Related Posts