Cara Setting Robots.txt dan Tag Tajuk Robot Khusus pada Blogger

Cara Setting Robots.txt dan Tag Tajuk Robot Khusus pada Blogger - Melakukan konfigurasi Robots.txt dan Tag Tajuk Robot Khusus bermaksud agar postingan kita di blogger terindex oleh mesin pencari dan berharap blog kita menjadi seo friendly.

Tetapi anda harus tau, melakukan konfigurasi robots.txt yang salah akan berakibat fatal untuk blog anda, bisa bisa malah tidak terindeks oleh mesin pencari.

Lalu bagaimanakah cara konfigurasi robots.txt yang benar? kali ini saya akan berbagi tutorial bagaimana cara konfigurasi robots.txt dan Tag Tajuk Robot Khusus pada Blogger. Silahkan simak dibawah ini.

Cara Setting Robots.txt
Saya sarankan gunakan robots.txt default bawaan blogger saja, robots.txt bawaan sudah aktif sejak anda membuat blog, untuk mengecek nya silahkan kunjungi https://blog-anda.blogspot.com/robots.txt, saya akan menjelaskan maksud dari isi robots txt bawaan blogger yang efektif dan aman untuk pengindeksan.

User-agent: Mediapartners-Google //Penanda bahwa blog menggunakan AdSense
Disallow: //Yang tidak dibolehkan tidak ada

User-agent: * //Semua robot mesin pencari
Disallow: /search //Tidak mengijinkan url setelah /search seperti ..../search/label dan ... search/search?updated...
Allow: / //Yang diijinkan untuk dirayapi. Tanda (/) adalah nama blog.

Sitemap: https://blog-anda.blogspot.com/sitemap.xml //Sitemap/peta situs blog.

Tetapi jika anda ingin agar suatu halaman tidak terindex google caranya yaitu melalui robots.txt ini, silahkan simak dibawah ini.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /p/about.html //mencegah mesin pencari merayapi laman about.html
Disallow: /p/contact.html //mencegah mesin pencari merayapi laman contact.html
Allow: /

Sitemap: https://blog-anda.blogspot.com/sitemap.xml

Jika anda ingin halaman tertentu tidak dirayapi mesin pencari, maka anda tinggal menambahkan seperti cara di atas.

Setting Tag Tajuk Robot Khusus
Untuk mengaktifkan tag tajur robot khusus silahkan klik Setelah > Preferensi Penelusuran > Tag tajuk robot khusus. Kemudian lakukan settingan seperti pada gambar di bawah ini.

Settingan di atas bertujuan untuk membolehkan mesin pencari merayapi halaman beranda, default untuk pos dan laman (semua isi blog), namun tidak membolehkan mesin pencari untuk mengindeks laman arsip dan penelusuran (model pencarian yang terjadi di dalam blog).

Share this post