robots.txt dosyası ile oynamamanızı tavsiye ederim çünkü kimse doğru bir şekilde oradaki terimlerin ne anlama geldiğini söylemiyor.Varsayılana dönmenizi tavsiye ederim