Cara Tepat Mengatasi URL Yang di Cekal Robots.txt

Saya sempat berfikir tentang bagaimana cara mengatasi url yang dicekal oleh robot.txt yang terdapat di Google Webmasters tools, dan itu karena, saya merasakan ada dampak dari url yang di cekal tersebut ke situs buatblog.net ini, karena saya merasakan ada penurunan traffick yang cukup lumayan karena masalah tersebut.

Url yang dicekal robot.txt sangat perlu untuk segera di perbaiki, apa bila tidak segera di perbaiki, akan berdampak buruk dalam traffick blog. Banyak pengalaman dari para blogger yang trafficknya menurun drastis karna terlambat dalam mengatasi url yang di cekal dan itu pun terjadi juga pada buatblog.net ini sendiri. Dan berikut ini adalah cara tepat mengatasi url yang dicekal oleh robot .txt di Google Webmasters tools.

Apa Itu Robots.txt ?

Robots.txt adalah file atau artikel pada situs Anda yang menunjukkan bagian dalam situs yang tidak Anda izinkan untuk diakses oleh perayap mesin pencari. File atau artikel menggunakan Standar Pengecualian Robot, yang merupakan protokol dengan sekelompok kecil perintah yang dapat digunakan untuk menunjukkan akses ke situs berdasarkan bagian dan berdasarkan jenis perayap web tertentu.

Cara Mengatasi dan Memperbaiki URL Yang di Cekal Oleh Robot.Txt

Cara mengatasi url yang di cekal oleh robot.txt yang saya share ini adalah cara yang sudah Saya alami sendiri dan hasilnya berhasil. Namun tidak hanya sekejab langsung hilang, tapi membutuhkan beberapa minggu atau bahkan berbulan-bulan.

1.Silahkan masuk ke blogger Anda.

2.Lalu klik pada settings - search preferences - custom robots.txt lalu klik edite pilih yes. Lihat contoh:

3.Saat pada menu edite seperti gambar di atas, silahkan masukkan robot.txt di bawah ini:

  -Ganti url buatblog.net menjadi url blog Anda.

  -Setelah itu klik Save.

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow:

Allow: /

Sitemap: http://www.buatblog.net/feeds/posts/default?orderby=updated

4.Langkah selanjutnya klik pada custom robots header tags dan pilih edite pilih yes. Lihat contoh:
  -Centang seperti gambar di bawah ini.
  -Lalu klik Save.

5.Terakhir silahkan bersabar dan silahkan kembali menulis artikel. Sedikit demi sedikit url yang di cekal akan hilang dengan sendirinya.

Sekian artikel dari saya tentang cara mengatasi url yang di cekal robot.txt. Semoga dapat membantu Anda. Karna blog ini di buat agar bermanfaat bagi pembaca dan dapat menemukan solusinya.