1. Cara Setting Robot.txt (Blogger)
Login kedalam Blogger
Pada Dasbhoard Blogger, pilih Setelan ► Preferensi Penelusuran ► Robots.txt ► Edit ► Pilih Ya
Cara Setting Robot.txt
Copy paste kode di bawah ini lalu masukkan ke dalam form robot.txt tersebut
User-agent: Mediapartners-GoogleKemudian ganti url yang bewarna biru dengan url blog anda
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://www.tutorialseo.web.id/feeds/posts/default?orderby=UPDATED
Setelah itu, klik Simpan Perubahan.
2. Setting Tag Header Robot Khusus
Setelan ► Preferensi Penelusuran ► Tag tajuk robot khusus ► Edit ► Pilih Ya
Centang sesuai dengan gambar dibawah ini
Tag Header Robot Khusus
Lalu, Simpan Perubahan
Settingan seperti di atas adalah settingan yang saya rekomendasikan, karena bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog.
