Merhabalar,

Yoast seo kullanıyorsanız robots.txt dosyasını benim ki yapabilirsiniz hocam.

Bkz: https://www.huseyinkorbalta.com/robots.txt