Bazı erişilmesini istemediğin URL yollarının engellemesi gerek örneğin wp-admin, test, beta, demo, admin gibi klasörlerin varsa erişime kapatabilirsin. Ek olarak bazı kötü ve spam botlarının listesini paylaşıyorum buradaki listeyi birebir robots.txt dosyanda kullanabilirsin.
https://www.kukumav.net/blog/robots-txt-olusturma/