Ek olarak Robots.txt ile bazı spam ve kötü botları engelleyebileceğiniz bir liste paylaşıyorum.
https://www.kukumav.net/blog/robots-txt-olusturma/