Bizlerde de aynı sorun var birisi robots.txt dosyası ile engellemeye çalışmış fakat öyle yaptığınız zaman sitenizin arama motorları tarafından yanlış anlaşmaya yol açabilir.