Cara Setting Robots.txt Khusus Blogger Dan Penjelasannya

Cara Setting Robots.txt Khusus Blogger Dan Penjelasannya - Jika anda seorang blogger pasti anda pernah mendengan Robots.txt, dan pasti saat pertama kali kita mendengar kata tersebut kita akan merasa kebingungan, nah kita sama saya juga sewaktu pertama kali mendengan istilah robots.txt pasti saya akan merasa bingung.

Apa itu robots.txt

Robots.txt merupakan sebuah file berformat text (.txt) yang harus dimiliki setiap website atau situs di internet, yang didaftarkan pada mesin pencari google, yahoo dan bing. dengan begitu robots.txt sangat erat kaitannya dengan SEO, robots.txt berfungsi untuk mengontrol atau mengatur halaman atau direktori mana yang boleh ditampilkan/diindex oleh mesin pencari .

Baca juga Friendly SEO Template For Blogger That You Can Use

Cara kerja dari robots.txt

Jika situs anda berdomain .com dan domain anda didaftarkan pada mesin pemcari google.com atau mesin pencari lainnya. maka secara otomatis anda memperbolehkan atau meminta robot-robot yang dimiliki oleh mesih pencari tersebut untuk mengunjungi dan merayapi situs yang anda miliki. nah saat pertama kali robot-robot pencari tersebut merayapi situs anda maka yang pertama mereka cari adalah file robots.txt. File robots.txt tersebut berisi perintah-perintah mengenai halaman mana saja yang diperbolehkan diperbolehkan untuk di index atau ditampilkan pada situs mesin pencari. pada blogspot, default robots.txt diatur sebagai berikut:

User-agent: Mediapartners-Google
disallow:
User-agent: *
disallow: /search
allow: /
sitemap: http://blogURL/feed/posts/default?orderby=UPDATED

Kode diatas memiliki arti sebagai berikut:

1. "User-agent: Mediapartners-Google": itu berarti bahwa kode yang ditempatkan dibawahnya hanya berlaku untuk bot crawler/robot perayap. "Mediapartners-Google" merupakan bot crawler untuk google adsense.
2. " disallow: " berarti tidak ada batasan untuk para robot untuk merayapi halaman anda, dengan kata lain, para robot dapat marayapi semua halaman disitus anda.
3. " User-agent: * " berarti bahwa kode/perintah yang ditempatkan di bawahnya berlaku pada semua robot pencari dewakili dengan tanda *.
4. " disallow: /search " melarang para robot pencari untuk menjelajahi url yang memiliki awalan urlbloganda.com/search.
5. " allow: / "  membiarkan para robot pencari marayapi semua halaman kecuali yang dicantumkan pada perintah disallow.
6. "sitemap:" merupakan sitemap dari situs anda, yang diberitahukan kepada robot pencari agar mudah ketika menjelahahinya lagi. Sitemap berisi semua link yang ada disitus untuk dirayapi crawler

Cara mengatur Robots.txt

Jika kita ingin memodifikasi atau mengatur robots.txt Anda, pertama anda harus berhati-hati terlebih dahulu dan paham betul karena kesalahan pengaturan bisa membuat website adna tidak terindex oleh mesin pencari.

a. Memblokir url

Untuk memblokir postingan tertentu agar tidak diindeks oleh semua mesin pencari, anda dapat melakukan dengan menempatkan kode dibawah ini.

user-agent: *
disalllow: /2012/11/url-permalink-posting.html

Kode yang berwarna merah merupakan contoh dari struktur kode url posting blogspot yang diblokir tanpa menuliskan nama domain web.

b. Memblokir folder/direktori

Untuk memblokir folder atau direktori yang terdapat pada situs yang kita miliki dengan kode seperti dibawah ini:

user-agent: *
disallow: /cgi-bin/
disallow: /wp-admin/
disallow: /wp-includes/
disallow: /wp-content/plugins/
disallow: /wp-content/cache/
disallow: /wp-content/themes/

Kode diatasberarti melarang robot pencari untuk merayapi semua file web yang ada didalam folder yang kita miliki.

c. Memblokir url yang mengandung karakter/kata tertentu.

Dengan menggunakan robots.txt kita dapat pergunakan untuk memblokir url yang memiliki karakter/kata tertentu agar tidak dapat terindex oleh mesin pencari. Misalnya saya menggunakan karakter tanda tanya (?) yang biasanya dipakai pada url untuk query setting atas penarian pada web tertentu yang menyebabkan duplikat.

user-agent: * disallow: /*?*  #untuk memblok semua url yang mengandung "?"

allow: /*?$ #untuk membolehkan akses pada semua url yang memiliki akhiran "?"

d. Memblokir akses pada ekstensi/format file tertentu.

Robots.txt dapat kita atur untuk memblokir file dalam situr yang anda miliki dan memiliki format tertentu. misalnya, kita akan memblokir file dengan format css, php dan javascript

user-agent: *
disallow: /*.php$
disallow: /*.js$
disallow: /*.css$

Cara memasang robots.txt

Robots.txt pada blogger dimanfaatkan untuk memblokir, atau memperbolehkan search engine untuk melakukan pengindeksan pada blog kita. disini kita dapat mengatur mana halaman yang di index dan mana yang tidak. disini saya akan menjelaskan bagaimana cara untuk mengatur robots.txt pada blogger kita agar anti duplikat konten pada halaman search, mobile, dan permalink komentar,

Untuk cara settingnya silahkan masuk ke blogger kita dan pilih setelan->search preference lalu pilih custom robots.txt->edit

Selanjutnya masukkan kode berikut pada form yang tersedia

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Allow: /
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*/*/*.html?showComment=*
User-agent:*
Allow: /
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*/*/*.html?showComment=*
Sitemap: https://webanda/feeds/posts/default?orderby=UPDATED

Ganti kata yang berwarna merah dengan alamat web atau blog anda lalu simpan perubahan yang telah kita masukkan tadi.

baca juga Dyre Wolf Banking Malware Yang Mencuri lebih dari 1 Milyar Dolar

Sekarang jaman nya web yang mobile friendly jadi anda juga harus wajib baca artikel ini

Bahaya Disallow M=1 Dan M=0 Pada Robos.txt Atau Algoritma Google Mobile Tidak Akan Merayapi Blog Versi Mobile Anda

Kesimpulan

Robots.txt sangat berguna bagi blog yang anda pergunakan, dengan memilih mana saja yang bisa di akses dengan  menggunakan script yang robots.txt, dengan menggunakan robots.txt kecepatan akses dari sebuah web akan semakin cepat.

demikian artikel saya mengenai Setting Robots.txt Khusus Blogger semoga artikel saya ini bermanfaat untuk kita semua

Share this post