Cara Kerja Spider Engine

Setelah website anda berhasil didaftarkan atau ditemukan oleh search engine melalui link di website orang lain yang mengarah ke website anda, maka search engine akan menyimpan kedalam database mereka untuk kemudian memerintahkan spider engine mengunjungi website tersebut untuk melihat potensi apakah website tersebut layak untuk diindex atau tidak.

Waktu yang diperlukan oleh spider untuk mengunjungi website tersebut semenjak berada di search engine database tergantung dengan kebijakan masing-masing search engine itu sendiri. Salah satu contohnya adalah google, biasanya mereka mengindex website beberapa hari saja setelah website tersebut berada didalam daftar database mereka, bahkan menurut pengalaman penulis, website penulis pernah diindex dalam hitungan menit semenjak website didaftarkan ke google, dengan ciri website penulis sudah bisa muncul di hasil mesin pencarian (untuk mengetahui apakah website anda sudah terindex atau belum, cobalah mengetikkan nama website anda di kotak pencarian dan tekan enter, apabila website sudah terdaftar biasanya website tersebut akan muncul di hasil pencarian, jika tidak maka laporan yang keluar adalah “data tidak ditemukan” atau zero result).

Perlu diketahui bahwa dengan terdaftarnya suatu website pada database search engine tertentu tidak menjamin akan diindex oleh search engine tersebut, meskipun mereka telah memerintahkan spider engine untuk menjelajahi website anda dan mencari data yang bisa diindex. Ada banyak faktor yang menyebabkan kemungkinan website tersebut belum bisa diindex beberapa diantaranya adalah jumlah halaman website tersebut terlalu sedikit (hanya satu atau dua halaman saja), terlalu banyak link didalam halaman website tersebut (link farm), halaman website yang tidak terstruktur, atau website tersebut merupakan hasil copian dari website lain, dan masih banyak penyebab lain yang membuat website tersebut tidak diindex.

Catatan : Cara lain yang lebih valid untuk mengetahui apakah website anda telah diindex atau belum (khusus untuk mesin pencari google) adalah dengan melihatnya di google.com/webmaster namun sebelumnya anda harus memiliki account google terlebih dahulu (alamat email google)

Baca juga : Pay Per Inclusion