http://webmaster.yandex.com.tr/site/robots.xml sayfasından robots.txt analizi vs yaptırabilirsin.
Şuradaki bölümleri de kontrol edebilirsin.
http://yardim.yandex.com.tr/webmaster/controlling-robot/robots-txt.xml