File robots.txt pada website berfungsi untuk mengontrol halaman tertentu pada website supaya tidak diindeks oleh spider. Salah satunya pada mesin pencari seperti Google, Bing, Yandex, dan lain-lain, tentunya spider yang dijalankan akan menaati peraturan terhadap file robots.txt.
Kebanyakan website builder selalu memberikan akses untuk mengedit file tersebut, sementara itu pada situs web berbasis WordPress, pengguna harus mengalihkan secara manual melalui File Manager atau menggunakan bantuan dari plugin lain.
Jika kamu ingin mengedit file robots di WordPress namun bingung bagaimana caranya? Tenang, disini akan saya bagikan dua cara mudah untuk melakukannya.
1. Mengedit Robots.txt Melalui File Manager di Kontrol Panel
Apabila situs WordPress yang kamu kelola berada di suatu hosting, pastinya terdapat file manager yang terdapat pada kontrol panel. Silakan buka File Manager tersebut dan masuk pada direktori dimana WordPress itu terinstal.
Selanjutnya silakan cari file bernama robots.txt dan edit file tersebut. Sedangkan apabila tidak ada filenya, silakan buat file baru dan kemudian silakan edit sesuai yang diharapkan.
Setelah selesai mengedit, silakan coba akses melalui URL “alamatwebsite.tld/robots.txt” untuk mengetahui hasilnya.
2. Ubah Robots.txt Menggunakan Plugin
Terdapat plugin khusus yang bisa kamu gunakan untuk mengedit file robots lebih mudah dan tanpa perlu membuka kontrol panel lagi. Nama plugin tersebut adalah Robots.txt Editor. Silakan cari dan pasang melalui halaman plugin pada dasbor admin.
Jika plugin telah terpasang, silakan buka menu Pengaturan, lalu menuju sub-menu Bacaan. Kemudian gulir kebawah dan temukan opsi bernama Robots.txt. Disampingnya terdapat kolom besar untuk mengubah isi dari file robots.
Ukuran dari plugin tersebut sangat kecil, namun tak ada masalah untuk dihapus setelah tak dibutuhkan lagi untuk mengubah file robots.
Baca juga: Solusi Mengatasi Mobile Usability Bermasalah di Google
Tips Mengubah File Robots.txt
Supaya tak ada kesalahan dalam mengedit file robots, saya sangat menyarankan untuk mengetesnya langsung melalui fitur Penguji Robots.txt yang disediakan oleh Google.
Pastikan isi file robots sama dengan yang tertera pada halaman tersebut, dengan begitu hasil tes akan akurat. Dan untuk mulai mengetesnya, silakan masukkan direktori halaman pada kolom dibawahnya, dan klik tombol TEST.
Nantinya hasil akan muncul, entah URL tersebut bisa diakses oleh spider atau diblokir oleh robots.txt. Jadi dengan cara ini kamu bisa memastikan halaman mana saja yang tidak boleh di-indeks pada mesin pencari secara akurat.
Cara pertama atau yang kedua, semuanya dapat dengan mudah untuk dilakukan. Dan bahkan pada beberapa plugin SEO kadang terdapat fitur untuk mengedit file robots, jadi tak perlu memasang plugin lain lagi.
Dan jangan lupa terhadap sedikit tips diatas dalam mengetes hasil perubahan file robots yang habis dilakukan. Hal ini supaya tidak ada kesalahan spider dalam merayapi halaman pada website, sehingga hasil perubahan sesuai seperti yang diharapkan tanpa ada kesalahan.
Semoga bermanfaat dan Selamat mencoba
