Setting Robot.txt? Apakah Penting?

Setting Robot.txt? Apakah Penting?

Setting Robot.txt? Apakah Penting?
Emang Penting?? Penting dong kan buat SEO

Robot.txt adalah perintah bagi robot mesin pencari untuk menelusuri atau tidak menelusuri halaman di blog yang kita setting. Bisa dikatakan kalau Robot.txt adalah filter blog yang bisa kita setel dari mesin pencari.

Setelah mengetahui apa itu Robot.txt secara mendasar. Mungkin kamu banyak pertanyaan yang mau kamu ajukan. Terus buat apa? Bagaimana settingannya? Kalau dibiarin kenapa?

Ni ada penjelasan sedikit untuk kamu yang masih bingung.. Di setiap blog dari blogger sudah disediakan menu ini di dasbor masing-masing. Tempat pastinya di Setelan Blog. Dan bagi kamu yang pengin tahu apa isi tulisan Robot.txt di blog kamu tinggal ketik ini di browser kamu:

Http://NAMABLOG.blogspot.com/robot.txt

Nah biasanya ada tampilan default dari robot.txt nya seperti ini:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

Arti dari teks tersebut kurang lebihnya seperti ini

User-agent: Mediapartners-Google

=Robot Google Adsense merayapi blog

Disallow:

=Yang tidak diperbolehkan tidak ada

User-agent:*

=Semua robot Search Engine

Disallow: /search

=tak diperbolehkan untuk merayapi folder search dan seterusnya, kayak gini

..../search/label/ dan ....search/search?updated ....

Allow:/

=Mengijinkan seluruh halaman (page) untuk dirayapi, kecuali yang tertulis pada Disallow di atasnya. Tanda (/) kurang lebih diartikan nama blog kamu.

Sitemap: http://namablog/feeds/post/default?orderby=UPDATED

=Sitemap atau alamat feed blog kamu

Lalu kenapa label tak masuk ke dalam pencarian?

Dengan penulisan kode default Disallow: /search, artinya perayapan untuk label seperti alamat http://namablog.blogspot.com/search/label/Tutorial, nantinya tidak akan dirayapi oleh mesin pencari karena Label itu bukan URL yang real menuju satu halaman tertentu

Tadi Robot.txt bisa disetting agar tidak merayapi ke bagian halaman tertentu, Bagaimana caranya?

Untuk setting agar  google tidak merayapi halaman tertentu di blog kamu, contohnya kamu tidak ingin halaman about me diindex oleh mesin pencari. Jadi bentuk Url nya kira2 begini, misal : http://namablog.blogspot.com/p/about.html

Lalu caranya, Buka Dashbor kamu > Setelan >  Preferensi Penelusuran > Robot.txt > Edit > Isikan dengan kode seperti ini dan Susun yang benar ya sesuai alamat halaman apa yang mau kamu set:

Sebagai contohnya menurut bentuk URL diatas jadi begini:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Disallow: /p/about.html

Allow: /

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

Nah, yang perlu kamu amati yang berwarna kuning ya...

Bagaimana kalau tidak pernah utak atik robots.txt, masalahkah?

Tidak masalah, hanya saja blog kamu tetap akan dirayapi oleh robot-robot mesin pencari karena seperti saya sebutkan sebelumnya, setiap blog sudah mempunyai robots.txt default dari blogger.

Peringatan ya:

Setting Robot.txt? Apakah Penting?

Hati2 dengan penggunaan robots.txt, apabila salah penulisan bisa jadi blog kamu diabaikan oleh mesin pencari. Dan itu akan merugikan blog kamu sendiri. Hehe... Salam