Mengetahui Validasi Robots.txt Checker

Mengetahui Validasi Robots.txt Checker - Kevalidan suatu script atau perintah kita bisa cek melalui alat bantu, dalam hal ini penulisan setting robots.txt yang kita pergunakan dapat kita ketahui valid atau tidaknya dengan menggunakan alat bantu online.

Robots.txt adalah sebuah file perintah untuk robot mesin pencari untuk menelusuri atau membatasi perintah penelusuran halaman pada blog, dalam hal ini file robots.txt bisa kita setting sesuai dengan yang kita inginkan.

Namun pada dasarnya setiap blog (blogger) walaupun kita tidak melakukan setting robots.txt secara default sudah memiliki robots.txt sendiri, untuk blogger robots.txt default adalah seperti ini:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://namabloganda/feeds/posts/default?orderby=UPDATED

Penulisan robots.txt seperti diatas apabila kita cek melalui robots.txt checker tidaklah valid, karena terdapat perintah Allow, dalam hal ini alat telusur tidak mengenal Allow karena pada dasarnya dia menelusuri semua.

Apakah Setting Robots.txt Anda Valid?

Kita bisa cek kevalidan blog kita melalui http://tool.motoricerca.info/robots-checker.phtml, kita hanya perlu mengetikan domain kita dengan diakhiri dengan robots.txt seperti ini:

http://www.namabloganda/robots.txt

Dan tekan tombol Check robots.txt, kita akan langsung mengetahui kevalidaan setting robots.txt untuk blog kita.

Kita bisa melakukan perbaikan untuk menjadikan robots.txt pada blog kita valid dengan menghilangkan nilai yang salah, sebagai contoh seperti ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: 

Sitemap: http://www.namabloganda.com/feeds/posts/default?orderby=UPDATED

Apabila belum setting robots.txt, kalian bisa masuk menu setting pada dashboar blogger, selanjutnya pilih Search Preferences - Custom robots.txt klik Edit dan masukan kode robots.txt yang telah diedit.

Semoga bermanfaat.