Cara Mengatasi URL Dicekal Robot.txt

Kang Damai -  Bingung dan pusing mengatasi URL postingan kita dicekal robot.txt. Ini dia Cara Mengatasi URL Dicekal Robot.txt dari pengalaman saya. sekian kalinya saya gonta ganti settingan Robot.txt akhirnya saya menemukan yang sesuai dan SEO terhadap blog. saya. nah bagi anda yang belum ngerti gimana cara setting yang aman robot.txt ini adalah settingannya.

Settingan Default dari Google sebagai berikut :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

Settingan untuk mengatasi duplicat content

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Allow:/
Sitemap: http://kangdamai.blogspot.com/feeds/posts/default?orderby=updated

Dan yang ini settingan custom dari saya sesuai dengn kebutuhan bagi blog saya. dan rekomendasi untuk anda.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/contact-us.html
Disallow: /p/disclaimer.html
Disallow: /p/term-of-service-tos.html
Disallow: /p/privacy-policy.html
Disallow: /p/about.html
Allow: /
Sitemap: http://kangdamai.blogspot.com/feeds/posts/default?orderby=updated

Untuk settingan TAG Header Khusus nya seperti gambar dibawah ini.

Demikian Cara Mengatasi URL yang dicekal Robot.txt. semoga bermanfaat