Ada dua macam halaman website yaitu visible web/halaman yang dapat dilihat, dan invisible web/halaman yang tidak dapat dilihat. Halaman tersembunyi atau invisible web merupakan halaman yang tidak dapat diindex oleh search engine dengan berbagai alasan. Alasan yang pertama adalah karena format halaman tersebut tidak dikenal oleh search engine, misalnya karena halaman tersebut tidak mengandung teks yang dapat diindex oleh search engine.
Alasan yang kedua adalah karena halaman tersebut diproteksi oleh password. Contohnya adalah email yang anda miliki. Search engine tidak dapat masuk ke inbox email anda karena diproteksi oleh password.
Alasan yang ketiga adalah karena halaman tersebut memang diminta oleh pemiliknya untuk tidak diindex atau tidak ditemukan oleh orang lain melalui search engine. Biasanya pemberitahuan untuk tidak diindexnya suatu halaman adalah melalui script yang disisipkan kedalam halaman website atau pemberitahuan dengan mengisi form yang disediakan oleh search engine.
Baca juga : Cara kerja spider engine