Arama motoru botlarını internette bulabilirsin.Misal ;

http://www.sphider.eu/
http://www.phpdig.net
http://code.google.com/p/utlimate-sphider/
http://www.sphider-plus.eu/index.php?f=14
http://codecanyon.net/item/php-search-engine-crawler/1917466
http://codecanyon.net/item/spider-php-website-crawler/5445643
http://astellar.com/php-crawler/

Daha fazlalarınıda bulabilirsin.Ama burada senin yapman gereken şu.Yaptığın spider sürekli dolaşacak belirli verileri indexliyecek.Bu da zamanla senin mysql bağlantını meşgul etmeye başlayacak.Bunun için mysql sorgularını nasıl hafifletebileceğini düşünmen lazım.Bu yüzden vps ile başlaman mantıklı.

Ayrıca unutmadan söyleyim her arama motorunun bir algoritması olur.Bu algoritmaya göre siteler sıralanır ve dizilir.Bence siteleri geç tarasan bile algoritmanı geliştir.Bu sana artı puan kazandıracaktır.