çözümü belki başınıza gelebilir 

Robots.txt dosyası düzenleyerek robotlara izin vermek