Merhaba,

Bununla ilgili bir blog yazısı yazmıştım. Bkz: https://huseyinkorbalta.com/wordpressde-robots-txt-dosyasi-nasil-olmalidir/

Kişisel sitemde kullandığım robots.txt dosyasını örnek alabilirsiniz. Bkz; https://huseyinkorbalta.com/robots.txt