CARA SETTING ROBOT.txt

Ilustrasi Robots.txt

Cara Setting Robots.txt mungkin temen-temen sudah sering mendengar istilah tersebut. Apa robots.txt itu? Apakah perlu di setting dan bagimana cara memasang robot.txt tersebut? atau kita dibiarkan saja?

Untuk lebih memahami pengertian dan cara kerja robots.txt, mari kita kupas cara setting robots.txt.

Apa itu robots.txt?

Robots.txt adalah perintah bagi robot mesin pencari untuk menelusuri atau tidak menelusuri halaman pada blog kita. Boleh dikatakan robots.txt adalah menfilter blog kita dari mesin pencari.

Apa setiap blog mempunyai robots.txt?

Semua blog memang sudah mempunyai robots.txt yang diberikan oleh blogger. Secara default robots.txt pada blog seperti ini :

User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED


Arti dari kode-kode di atas

User-agent: Mediapartners-Google
Robot Google Adsense merayapi blog

Disallow:
Yang tidak diperbolehkan tidak ada

User-agent: *
Semua robot Search Engine / mesin pencari

Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti..../search/label dan ... search/search?updated...

Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
sitemap atau alamat feed blog kita.


Kenapa label tidak dimasukan ke pencarian?

Dengan penulisan kode default Disallow: /search, artinya perayapan untuk label seperti alamat http://namablog.com/search/label/Tutorial, nantinya tidak akan dirayapi oleh mesin pencari karena Label bukan URL yang real menuju satu halaman tertentu.

Cara mencegah robot.txt pada halaman tertentu

Untuk mencegah Robot.txt merayapi halaman tertentu di blog temen-temen,
tambahakan halaman blog yang tidak ingin dirayapi, hasilnya akan tampak seperti ini

User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Disallow: /p/about.html Allow: / Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

Lokasi letak robots.txt

Untuk menambahkan atau mengedit robots.txt, silahkan masuk ke Setelan >Preferensi Penelusuran, pada Robots.txt klik Edit kemudian klik Ya, kemudian tulis kode robots.txt yang diinginkan > Lalu Simpan Perubahan.

Sekian dari saya bagaimana Cara Setting Robots.txt dengan mudah. Baca ini cara menjadi no 1 di google.