Pengertian Robot.txt Dan Fungsinya

Ivo Blog │Pada awalnya saya tidak tahu apa fungsi dari Robot.txt itu sendiri dan juga pengertian dari Robot.txt tersebut,bahkan saya sering menyampingkan File yang bernama Robot.txt ini.Setelah ada seorang teman saya bertanya Apa itu Robot.txt maka dari sana saya berfikiran untuk memperdalam lagi pengetahuan saya tentang ini,hingga akhirnya saya melakukan Browser di Google dan saya mencari berbagai sumber yang akurat hingga akhirnya saya menemukan artikel-artikel tentang Robot.txt ini.Setelah saya baca-baca dan ketika saya mengetahuinya akhirnya saya tahu apa itu Robot.txt.Ternyata sebuah file kecil ini fungsi dan kegunaannya sangatlah besar untuk sebuah situs.Dari sana saya berfikiran untuk berbagi juga pengetahuan saya tentang Robot.txt ini kepada sobat semua,agar sobat tidak mengenyampingkan tentang File kecil ini.Nah untuk memperdalam pengetahuan sobat tentang Robot.txt ini silahkan sobat simak baik-baik artikel ini.

Sebelum kita membahas fungsi dari Robot.txt ini ada baiknya kita berkenalan dulu dengan File kecil bernama Robot.txt ini.

Tahukah sobat apa itu Robot.txt?.Robot.txt merupakan sebuah File kecil yang fungsinya sangat banyak bagi para pengguna Situs maupun website.Sama halnya dengan seorang penjaga keamanan pada sebuah perusahaan.Seorang penjaga keamanan pastinya tidak mengijinkan sembarangan orang untuk masuk perkarangan perusahaan tersebut,dan pastinya dia akan menyeleksinya terlebih dulu.Begitu juga saat ada orang yang mau bertemu dengan Bos dari perusahaan tersebut pastinya penjaga tersebut akan memberitahukan kepada orang tersebut tempat atau lokasi dari ruangan kepala perusahaan tersebut agar orang tersebut tidak nyasar,dan pastinya dia akan menyeleksinya terlebih dahulu.

Nah dari cerita tersebut sama juga hal nya dengan fungsi Robot.txt itu sendiri.Sebuah Robot.txt ini berfungsi untuk menyeleksi situs atau website baik itu berupa Artikel-artikel maupun document atau apa pun yang kita inginkan untuk tidak dirayapi secara bebas oleh Googlebot ini.Kegunaan dari Robot.txt sendiri untuk memberikan perintah pada Googlebot pada bagian mana saja yang boleh untuk dirayapi dan bagian mana saja yang tidak diperbolehkan untuk dirayapi pada situs kita.Karena apabila Googlebot kita perbolehkan secara bebas merayapi situs kita maka pastinya dia akan merayapi seluruh bagian-bagian yang ada pada situs kita,bahkan termasuk document pribadi kita yang seharusnya tidak dirayapi.

Lalu apa yang terjadi pada situs kita bila kita membiarkan Googlebot merayapi Blog kita secara bebas?.Wah itu jelas berbahaya Karena file-file config, form upload, folder upload, dan file-file rahasia lainnya akan di telusuri oleh google-bot dan menyimpannya ke database google. Sebenarnya ini tidaklah menjadi masalah. Namun masalah akan timbul saat ada orang iseng mencari website sebagai korban hacking iseng di google. Mereka akan dengan mudah menemukan file-file config website kita dan dengan mudah mengakalinya.

Jelaskan, bahwa file robots.txt sangat berguna bagi suatu website. Sekarang kita coba membuat sebuah file robots.txt walaupun sebenarnya banyak website penyedia robots.txt generator.

Sebelumnya kita buat sebuah skenario. robots milik search engine tidak boleh mengakses folder config dan admin. Berikut caranya.

Pertama buatlah sebuah file dengan nama robots dan extensi txt jadi, namanya robots.txt kemudian letakkan di folder utama (jika di hosting diletakkan di public_html/www). Kemudian ketik kode berikut (yang berwarna merah).

User-agent : * <-- ini berarti aturan yang ditulis ditujukan untuk semua robots dari semua search engine
Dissallow: /config/ <-- ini berarti melarang robots dari semua search engine untuk menelusuri folder config
Dissallow: /admin/ <-- ini berarti melarang robots dari semua search engine untuk menelusuri folder admin

Kemudian save. Jadilah file robots.txt kita. Simple memang, tapi fungsinya luar biasa.

Oke sobat demikian lah Info dari saya semoga bermanfaat untuk sobat semua.Jangan lupa untuk Subcribe Blog ini agar tidak ketinggalan artikel terbarunya..... terima kasih...Baca Juga Cara Seting Robot.txt pada Blog.

Tweet