Hocam, Masa üstünde robots.txt dosyası aç ve aşağıdaki yazıları txt dosyasının içerisine at.

User-agent: *

Masa üstündeki bu dosyayı ftp ana dizine gönder. Aynısı varsa üzerine yazdır de. Dosya muhakkak görünür merak etme sen.

Fazla bir şeyle uğraşma, Bırak google ne alacaksa alsın. Fazla irdeleme, sitene zarar verirsin.