Örümcek bot mantığını kurman gerekiyor, bir çok site bir çok siteye bağlıdır ve birbirini takip eder. Öncelikle bir siteyi tarayacak bir örümcek geliştirmen lazım daha sonrasında o sitenin dışarı verdiği linkleri taratman lazım böylece mesela bir dizin sitesini tarattığında 1000 lerce siteye ulaşacaksın.

Aynı zamanda insanların kendi sitelerini eklediği bir kısımda oluşturabilirsiniz.