Hiç crawler yazmaya gerek yok Api zaten bu hizmeti sunuyor.

site.com/api/v2?key=Apikey&action=services
json bir çıktı vericek decode edip arrayı döngüye alarak sitenize ekleyebilirsiniz