robots.txt ile kardıramazsınız, linki reddetmiş olursunuz sadece. Bu işlemin doğru ve daha hızlı olması için aynı zamanda wmtolls üzerinden url kaldır yapmanız lazım.