CuriousZone dot|INFO

Ketika mengunjungi forum angkatan saiia pada suatu hari yang lalu, saya melihat bagian bawah untuk ngecek siapa saja yang sedang online. Agak terkejut juga sih karena salah satu yang masuk ke forum sebagai registered user adalah Google[Bot. Sebenarnya makhluk apakah si Google[Bot ini sampai bisa masuk ke dalam forum yang sebenarnya diangkatan kami, tidak ada tuh yang namanya Google[Bot atau memakai nickname Google[Bot.

Setelah melakukan penyelidikan lewat saudaranya Google Search, ternyata diketahui dari Wikipedia bahwa Google[Bot adalah makhluk maya di dunia cyber yang digunakan untuk meng-entri situs-situs di dunia cyber dengan mendata dan membangun index situs yang dapat dicari untuk Google Search Engine. Google[Bot seperti kebanyakan spider lainnya yang sifatnya sama, juga dapat kita limitasi aksesnya. Ini sangat berguna ketika kita memiliki situs-situs pribadi yang sifatnya private (contohnya seperti forum angkatan) yang kita tidak mau ada orang lain yang tidak berkepentingan membaca informasi apa yang ada di dalam situs tersebut.

Google[Bot Exclusion Standard; adalah konvensi untuk mencegah Google[Bot mengakses seluruh atau sebagian informasi yang ada di sebuah situs. Caranya sama saja dengan mencegah web spiders atau web bots lainnya. Informasi pencegahan ini harus kita tulis di sebuah file dot|TXT bernama robots.txt dan mengisinya dengan instruksi yang ditulis di bawah ini serta meng-uploadnya di folder root situs anda.

Untuk mencegah Google[Bot mengakses direktori secara spesifik:

User-agent: Googlebot # sharp untuk komentar dan tidak akan dieksekusi dari tanda sharp dan setelahnya
Disallow: /private/ #mencegah googlebot untuk mengakses folder private

Untuk mencegah Google[Bot mengakses file secara spesifik:

User-agent: GoogleBot
Disallow: /directory/file.html #file.html tidak akan diakses googlebot

Fakta bahwa file-file lain selain file.html akan diakses oleh Google[Bot.

Untuk menghalau Google[Bot dari semua akses ke file/direktori yang ada di root situs:

User-agent: Googlebot
Disallow: / # Kasih tau Googlebot, “Get outta here!”

Khusus file image:

User-agent: Googlebot-Image
Disallow: /dir/apa.jpg

Gunakan juga karakter * sebagai penanda wildcard dan beritahu Google[Bot apa yang bisa diakses atau dibatasi aksesnya:

User-agent: Googlebot
Disallow: /dir/*.html$ #contoh buat file html apa saja, tambahkan tanda $ sebagai penanda end-anchor

Untuk pembatasan Google[Bot lebih dari satu dapat dilakukan dengan cara:
User-agent: Googlebot
Disallow: /dir/*.html$
Disallow: /dir/apa.png
Disallow:/dir/dir1/xXx.avi
contoh situs (forum) yang lagi didatangi ‘tamu’ Google[Bot


Semoga Berguna…

Best Regards,
-misugijunz-

Popularity: 69% [?