Cara Setting Robot.txt Di Blog Dengan Mudah

Ivo Blog │Sebelum kita membahas tentang Cara Setting Robot.txt ini,saya akan bertanya sedikit pada sobat semua.tahukah sobat apa itu Robout.txt?.Tahukah sobat apa fungsi dari File kecil yang bernama Robot.txt itu sendiri?.Pastinya untuk sobat yang menyampingkan file yang satu ini tidak tau apa itu robot.txt dan fungsinya.Nah agar sobat lebih mudah memahaminya silahkan sobat baca terlebih dahulu artikel saya sebelumnya yaitu Tentang Pengertian Robot.txt Dan Fungsinya.Nah jika sobta sudah membacanya sekarang silahkan sobat ikuti tutorial berikut untuk menyeting Robot.txt di blog sobat.

 Ini Cara Pertamanya :

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /

Sitemap: http://url blog sobat/feeds/posts/default?orderby=UPDATED
Dari kode diatas maka Googlebot akan secara bebas merayapi semua label dan artikel blog sobat.Nah tahukah sobat fungsi dari tiap-tiap kode diatas?.Oke berikut penjelasannya.

User-agent: Mediapartners-Google
Robot Google Adsense merayapi blog

Disallow:
Yang tidak diperbolehkan tidak ada

User-agent: *
Semua robot Search Engine / mesin pencari

Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...

Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.

Sitemap: http://url blog sobat/feeds/posts/default?orderby=UPDATED
sitemap atau alamat feed blog kita


Jika sobat ingin agar Googlebot tidak marayapi salah satu artikel atau laman yang tidak ingin di rayapi misalnya halaman About yang mempunyai URL seperti ini http://namablogsobat.blogspot.com/p/about.html maka silahkan sobat tambahkan kode seperti ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://url blog sobat/feeds/posts/default?orderby=updated
Kenapa label tidak diperbolehkan untuk dirayapi oleh Googlebot?.Karena Label tidak termasuk sebuah URL yang real untuk menuju pada halaman tertentu.
Untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://url blog sobat.blogspot.com/feeds/posts/default?orderby=updated
Untuk sobat yang ingin mencegah terjadinya Duplikat konten atau duplikat judul seperti duplikat konten pada Mobile silahkan sobat pakai kode berikut ini pada blog sobat.
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://url blog sobat.blogspot.com/feeds/posts/default?orderby=UPDATED
Untuk menaruh kode silahkan sobat taruh pada Setelan Blog sobat dengan cara Klik Setelan > Prefensi Penelusuran > Robot.txt Khusus > Edit > Tekan Ya.untuk mengaktifkan lalu silahkan taruh kodenya pada kotak yang disediakan kemudian klik Simpan Perbaharuan.Lihat contoh SS nya dibawah ini.Pilihalah kode yang sobat inginkan.


Untuk Mengatur Tag Header Robot Khusus dapat sobat lakukan dengan cara Klik Setelan > Prefensi Penelusuran > Tag tajuk robot khusus > Edit dan silahkan sobat sesuaikan pengaturannya dengan gambar dibawah ini.


Settingan seperti di atas bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog. Dan beberapa gambar yang dimuat diblog anda dengan settingan diatas tidak akan diindex.

Lalu Bagimana Kalau Saya Tidak Pernah Mengatur Robot.txt Di Blog Saya?.

tidak apa-apa blog sobat pasti akan tetap di index oleh Google,hanya saja ini dipasang bertujuan untuk memberikan keamanan pada Blog sobat agar tidak diusili oleh para hacking Blog dan Website lainnya.Tapi setiap template blog biasanya sudah mempunyai Robot.txt Default.

8 Responses to "Cara Setting Robot.txt Di Blog Dengan Mudah"

  1. Mantap nih bisa buat panduan setting robot txt..ijin bookmark gan..

    Jgn lupa back yah ke satriyoku.blog..

    ReplyDelete
  2. Bookmmark gan nqnty kaalau butuh baru pake hahah

    ReplyDelete
  3. Thanks gan infonya, ane jadi tau tentang robot.txt

    ReplyDelete
  4. keren gan artikelnya sangat bermanfaat :)
    by Ziwipedia

    ReplyDelete
  5. mau tanya, di beberapa blog yang selalu muncul nomer satu kok menggunakan seperti ini ya

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: http://xxxxxxxxxxxxx.com/sitemap.xml


    itu bagai mana seting nya??..

    ReplyDelete
  6. HARTA KARUN ALAM GAIB, Supranaturaljokowi.com - Di alam gaib juga banyak terdapat emas dan berlian (harta karun gaib), paling banyak didapati di Jawa Timur. Yang ada di Jawa Timur dan Jawa Tengah, kebanyakan adalah peninggalan kerajaan dan bangsawan jaman dulu.....

    Cara Berburu Harta Karun
    Trik Mudah Dan Cepat Berburu Harta Karun
    Amalan Sakti Mandraguna Berburu Harta Karun

    http://www.supranaturaljokowi.com
    http://www.supranaturaljokowi.com/2015/03/kujang-sakti-kyai-singowijoyo.html
    http://www.supranaturaljokowi.com/2015/03/khodam-pendamping-dan-khodam-ilmu.html
    http://www.supranaturaljokowi.com/2015/03/keistimewaan-batu-merah-delima.html
    http://www.supranaturaljokowi.com/2015/02/kaya-raya-dengan-membaca-basmallah.html

    ReplyDelete

>>>>>Peraturan Berkomentar di Blogger Ini.<<<<<

[+] Komentar membangun lebih disukai
[+] Kami wajib menghapus komentar yang melecehkan, kasar, dan bertendensi SARA.
[+] Link aktif dalam komentar akan terhapus secara otomatis.
[+] Jika ingin menaruh Link Aktif Silahkan klik menu Tukar Link.
[+] Jika ingin berkomentar diluar topik postingan harap beri tanda OOT atau Klik Tombol OOT.
[+] Jika Ingin menggunakan Emoticon silahkan Klik Tombol Emoticon.
[+] Jika Ingin Request Tutor silahkan Klik Tombol OOT dibawah atau pergi ke Menu OOT.

Terima Kasih........

Konversi Kode Emoticon OOT