Robots.txt kullanarak, örümcek botların istediğiniz dizini indexlemesini engelleyebilirsiniz.
Robost.txt dosyanıza eklemeniz gereken kod:
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Örnek robots.txt: https://huseyinkorbalta.com/robots.txt