Robots.txt khusus untuk blogspot maupun khusus untuk wordpress, dirancang khusus agar situs miliknya berada di peringkat atas pencarian Google. Kehadirannya digunakan untuk memberitahu mesin pencari Google agar bisa membedakan halaman mana yang boleh dan tidak boleh diindeks. Selain itu, robots.txt juga sangat berguna sekali untuk optimasi SEO, di mana setiap konten di website kita akan lebih mudah terindeks di mesin pencari Google. Tujuannya adalah untuk menaikan peringkat situs di Search Engine Result Pages (SERP) dan proses indexing lebih terstruktur lagi. Pemilik situs web menggunakan file /robots.txt akan memberikan instruksi tentang situsnya kepada robot web; yang disebut dengan nama Protokol Pengecualian Robot.

Seperti apa robots.txt khusus itu dan bagaimana cara setting robot txt di WordPress maupun di blogspot? saya akan membahasnya melalui artikel ini dengan lebih detail dan pastinya mudah dipahami.

Apa Itu Robots.txt Khusus

Pada dasarnya, robots.txt adalah text file yang berisikankan sekumpulan instruksi agar robot mesin pencari seperti googlebot, dengan mudah menelusuri website yang kita miliki. Keberadaanya sebagai penujuk arah atau tanda yang digunakan situs web kepada mesin pencari.

Pada saat membuat website baru dan telah tersambung dengan Google Webmaster Tool, maka secara otomatis googlebot akan merayapi website kita agar muncul di hasil pencarian. Pasa saat merayapi website, Google melakukan pendataan sesuai dengan kata kunci yang ada pada situs dan lain sebagainya.

Robots.txt bertugas untuk memisahkan halaman yang tidak ingin Anda tampilkan ke dalam mesin pencari. walaupun tidak ada file robots.txt, Google akan tetap melakukan proses ‘crawl’ sampai dengan keseluruhan halaman yang ada di situs terbaca sempurna.

Jadi pada prinsipnya, aktifkan konten robots.txt khusus blogspot maupun wordpress, akan membantu mesin pencari untuk memilih halaman situs mana saja yang akan ditampilkan pada mesin pencari. Pengguna juga bisa menyesuaikan halaman yang boleh ditampilkan pada mesin pencarian Google. Selanjutnya kita akan mengenal cara setting robots.txt khusus dan cara meletakkannya di hsoting yang kita miliki.

Cara Setting Robots.txt Khusus untuk Blogspot dan WordPress

Struktur robots.txt untuk blogspot maupun wordpress sama saja, yang berbeda hanyalah perintah sitemap saja. File “/ robots.txt” adalah file teks, yang terdiri atas satu atau beberapa record. Biasanya berisi satu catatan yang terlihat seperti berikut ini:

Berdasarkan contoh ditas, “User-agent: *“, robots.txt mengijinkan semua user agent bot, apakah itu googlebot, bingbot, yahoobot dan lain sebagainya boleh merayapi website kita. Selanjutnya melarang memasuki directory /cgi-bin, /tmp dan /wp-admin.

Berikut ini contoh lainnya yang melarang semua robot masuk dan merayapi website yang kita miliki.

Perhatikan perbedaannya dengan perintah berikut, yang mengijinkan semua robot merapi website.

Berdasarkan perintah diatas, pada prinsipnya tidak ada command (perintah) “allow : /” di robots.txt. Contoh berikut ini adalah melarang robot tertentu untuk merayapi website.

Perintah diatas melarang hanya “BadBot” untuk merayapi website, sedangkan lainnya boleh. Berikut ini contoh perintah sebaliknya.

Perintah diatas hanya mengijinkan kepada google bot untuk merayapi website, sedangkan bot lainnya dilarang.

Selanjutnya setelah memahami struktur utama dari robots.txt, selanjutnya adalah meletakkan sitemap dari website yang kita miliki. Berikut ini contoh robots.txt untuk blogspot.com yang megijinkan semua robot merayapi website blogspot.

Dan berikut ini salah satu contoh khusus untuk wordpress yang mengijinkan semua robot merayapi.

Cara Meletakkan Robots.txt

Khusus untuk blogspot, silahkan klik setting kemudian scroll kebawah untuk mengaktifkan robots.txt custom. Selanjutnya isikan perintah robots.txt seperti yang saya informasikan diatas.

Selanjutnya khusus untuk wordpress, silahkan Anda install plugin Yoast atau plugin All in one SEO untuk menambahkan robots.txt. Atau Anda bisa masuk ke server yang Anda miliki, masuk ke folder Public-html selanjutnya create file robots.txt.

Kesimpulan

Keberadaan dari robots.txt pada website yang kita miliki tidaklah menjadi keharusan, yang penting telah upload XML sitemap ke webmaster tools. Keberadaan dari robots.txt ini hanyalah sebagai penunjuk arah bagi robot yang akan merayapi website kita, bagian mana yang boleh dirayapi dan bagian mana yang tidak boleh dirayapi.

Referensi : About /robots.txt