Spider veya Örümcek, web sayfalarını otomatik olarak taramaya ayarlanmış bir programdır. Örümcekler, sıklıkla aktif bir veritabanı haznesine sahip olması gereken arama motorları tarafından kullanılmaktadır. Örümceklerin çalışma prensibi gayet basittir. Bir linkten yola çıkarak diğer linkleri takip ederler, böylece bir örümcek tek bir linkten dahi yola çıkarak tüm bir web sitesini ve tüm bir web dünyasını çok kısa süre içerisinde tarayabilir. Örümcekler bir web sayfasını ziyaret ettiklerinde o web sitesini tarar ve aşağıdaki bilgileri toplayarak arama motorlarına iletirler;
- Web sayfasının adresi.
- Web sayfasının başlığı.
- Web sayfasının meta bilgilerini.
- Web sayfasının içeriğini.
- Sayfa içerisindeki linkleri ve sayfa içerisinden giden linkleri.
Bu bilgilerle arama motoruna geri dönüşün sonrasındaysa artık indeksleme işlemi başlar. Örümcekler arama motorlarının en önemli yazılımları olduğu kadar webmaster'lar için de en önemli yazılımlardır. Bu yazılımlar web sitenizi ne sıklıkla ziyaret ederek tararsa web sitenizin indeks hızı da o derecede yüksek olacaktır.
