Mengenal Perintah Setting Robots.txt

Mengenal Perintah Setting Robots.txt - Seperti disebutkan sebelumnya, robots.txt adalah perintah bagi robot mesin pencari untuk menelusuri atau membatasi perintah penelusuran halaman pada blog.

Secara langsung jika kita mempunyai blog melalui blogger, robots.txt secara default sudah ada walaupun kita tidak melakukan setting robots.txt, robots.txt default blogger adalah seperti ini:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://namabloganda/feeds/posts/default?orderby=UPDATED

Mengenal Aturan Robots.txt

File robots.txt pada dasarnya menggunakan 2 perintah aturan, yang pertama adalah Identitas Agen Pengguna (User-Agent) dan yang kedua adalah perintah pelarangan.

user-agent:
Disallow:

Perintah diatas merupakan satu perintah dalam satu agen pengguna, kita bisa menambahkan beberapa agen pengguna dengan baris perintah yang berbeda dengan membuat file robots.txt terpisah tidak tersusun pada agen pengguna sebelumnya, seperti ini:

User-agent: *
Disallow: /

User-Agent: Googlebot
Disallow: /

User-Agent atau agen-Pengguna merupakan robot mesin telusur, kita bisa menambahkan user-agent khusus uutuk setting robots.txt, seperti Googlebot dan lain-lain.

Untuk mengetahui database User-Agent dan Bot secara lengkap bisa melihat pada list data base user-agent pada alamat http://www.robotstxt.org/db.html.

Perintah Dalam robots.txt

Perintah	Ketetrangan
User-agent: *	Berlaku untuk semua mesin telususr atau bot
User-Agent: Googlebot	Berlaku untuk bot tertentu, dalam hal ini Googlebot
Disallow: /	Untuk memblokir seluruh situs
Disallow: /khusus_file.html	Untuk memblokir halaman
Allow: /	Mengizinkan semua halaman untuk ditelusuri

Ketahui perintah Allow: / untuk validasi robots.txt, dengan menggunakan robots.txt checker kita bisa mengetahui valid atau tidaknya robots.txt yang kita buat.

Semoga bermanfaat.