Sitede robots.txt dosyası varsa oradan belli olur, örümceklerin kaç günde bir gelmesini istediğin. Yoksa meta etiketleri ile de belirlenebilir. Hiçbiri yoksa 3-4 günde bir gelir. Birde webmaster tools girip google gibi getir olayı var. O da aynı görevi görüyor sanırım. Hiç kullanmadım ama aynı olay diye biliyorum.