Robot
mesin pencari berfungsi untuk mengindex blog kita. Tanpa adanya
kedatangan mesin pencari tersebut, maka proses index blog kita akan
berlangsung lama, bahkan bisa saja tidak terindex sama sekali. Oleh
karena itu, maka berbagai macam fasilitas yang mendukung kerja dari
robot mesin pencari tersebut haruslah ada. Hal pertama yang perlu
mendapatkan perhatian adalah file dengan nama robots.txt. File ini
merupakan file yang digunakan oleh robot mesin pencari, apakah blog
tersebut perlu di crawl atau tidak. Nah, apa saja penyebab blog kita
dijauhi oleh mesin pencari. Berikut artikelnya.
Berikut beberapa kesalahan mengapa robot search engine menjauh di web kita :
- Robots.txt rusak atau berisi parameter yang salah salah
Jika robot google salah membaca isi robots.txt anda, maka google akan mengabaikan halaman web anda.
Anda bisa mempelajari tata cara penulisan robots di http://www.robotstxt.org/ - Halaman web anda mempunyai code terlalu panjang
Jika halaman web anda berisikan code javascript, CSS, Html dan lainnya yang terlalu banyak dan panjang, maka akan membuat web anda susah di akses ( lambat aksesnya).
Jika itu terjadi maka robot search engine akan kesulitan untuk mengurai isi web anda. - Navigasi menu web anda mempunyai masalah
Jika anda membuat menu yang menggunakan javascript,DHTML atau AJAX, maka menu tersebut tidak bisa di index oleh robot search engine.
karena robot search engine hanya bisa mengindex link yang menggunakan HTML. - URL website anda terlalu banyak variable
Jika url anda terlalu banyak variable, maka google juga akan mengabaikan halaman web anda.
Contoh URL yang terlalu banyak variable : http://domain.com/page.php?page=1&id=2&mirror=3&direct=index.html
Pernyataan resmi dari search engine google :
“Google indexes dynamically generated webpages, including .asp pages, .php pages, and pages with question marks in their URLs. However, these pages can cause problems for our crawler and may be ignored.” - Menggunakan session ID di web anda
Search engine google tidak mau mengindex suatu URL yang berisikan session ID karena menyebabkan duplicate content.
Penggunaan cookies lebih baik dari pada menggunakan session ID
Share
