Düzenlemiş olduğunuz dosyayı robot.txt olarak düzenlemiş olabilirsiniz. robots.txt olacak. Ona bi bakarmısınız.