sitenin robot.txt dosyasına

User-agent: *

Disallow: /


bunu yaz bot siteni ziyaret ettiğinde silinir bütün indexlerin