Robots meta eklentisini kullanabilirsin. İşini fazlasıyla görecektir.