robot.txt kullanarak çözebilirsin.