Makaleme bakınız kesin çözüme ulaşacaksınız.
https://mdsal.com/2019-wordpress-icin-en-iyi-robots-txt-dosyasi.html