User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Host: http://www.*******.net
Sitemap: http://www.*******.net/sitemap.xml

Benimki yukardaki gibi. Ek olarak Host parametresini ekleyebilirsiniz.
Siz botlara erişim verseniz bile hosting firmanız sitenizin bulunduğu sunucuyu kapatabiliyorlar komple. Hosting firmanızla görüşmeniz en iyisi. Yok onlar da her şey normal derse aşağıya detaylı şekilde aldığınız hata mesajının ekran görüntüsüyle birlikte mesaj atabilirsiniz. ( Türkçe yazabilirsiniz mesajınızı )

https://yandex.com.tr/support/webmaster-troubleshooting/other-general.html