Cara Setting Robot.txt Di Blog Dengan Mudah

Ivo Blog │Sebelum kita membahas tentang Cara Setting Robot.txt ini,saya akan bertanya sedikit pada sobat semua.tahukah sobat apa itu Robout.txt?.Tahukah sobat apa fungsi dari File kecil yang bernama Robot.txt itu sendiri?.Pastinya untuk sobat yang menyampingkan file yang satu ini tidak tau apa itu robot.txt dan fungsinya.Nah agar sobat lebih mudah memahaminya silahkan sobat baca terlebih dahulu artikel saya sebelumnya yaitu Tentang Pengertian Robot.txt Dan Fungsinya.Nah jika sobta sudah membacanya sekarang silahkan sobat ikuti tutorial berikut untuk menyeting Robot.txt di blog sobat.

 Ini Cara Pertamanya :

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /

Sitemap: http://url blog sobat/feeds/posts/default?orderby=UPDATED

Dari kode diatas maka Googlebot akan secara bebas merayapi semua label dan artikel blog sobat.Nah tahukah sobat fungsi dari tiap-tiap kode diatas?.Oke berikut penjelasannya.

User-agent: Mediapartners-Google
Robot Google Adsense merayapi blog
Disallow:
Yang tidak diperbolehkan tidak ada
User-agent: *
Semua robot Search Engine / mesin pencari
Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...
Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.
Sitemap: http://url blog sobat/feeds/posts/default?orderby=UPDATED
sitemap atau alamat feed blog kita

Jika sobat ingin agar Googlebot tidak marayapi salah satu artikel atau laman yang tidak ingin di rayapi misalnya halaman About yang mempunyai URL seperti ini http://namablogsobat.blogspot.com/p/about.html maka silahkan sobat tambahkan kode seperti ini.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://url blog sobat/feeds/posts/default?orderby=updated

Kenapa label tidak diperbolehkan untuk dirayapi oleh Googlebot?.Karena Label tidak termasuk sebuah URL yang real untuk menuju pada halaman tertentu.
Untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://url blog sobat.blogspot.com/feeds/posts/default?orderby=updated

Untuk sobat yang ingin mencegah terjadinya Duplikat konten atau duplikat judul seperti duplikat konten pada Mobile silahkan sobat pakai kode berikut ini pada blog sobat.

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://url blog sobat.blogspot.com/feeds/posts/default?orderby=UPDATED

Untuk menaruh kode silahkan sobat taruh pada Setelan Blog sobat dengan cara Klik Setelan > Prefensi Penelusuran > Robot.txt Khusus > Edit > Tekan Ya.untuk mengaktifkan lalu silahkan taruh kodenya pada kotak yang disediakan kemudian klik Simpan Perbaharuan.Lihat contoh SS nya dibawah ini.Pilihalah kode yang sobat inginkan.

Untuk Mengatur Tag Header Robot Khusus dapat sobat lakukan dengan cara Klik Setelan > Prefensi Penelusuran > Tag tajuk robot khusus > Edit dan silahkan sobat sesuaikan pengaturannya dengan gambar dibawah ini.

Settingan seperti di atas bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog. Dan beberapa gambar yang dimuat diblog anda dengan settingan diatas tidak akan diindex.

Lalu Bagimana Kalau Saya Tidak Pernah Mengatur Robot.txt Di Blog Saya?.

tidak apa-apa blog sobat pasti akan tetap di index oleh Google,hanya saja ini dipasang bertujuan untuk memberikan keamanan pada Blog sobat agar tidak diusili oleh para hacking Blog dan Website lainnya.Tapi setiap template blog biasanya sudah mempunyai Robot.txt Default.

Tweet