Agresiflik konusunda Yandex Crawlerları bir numara ancak sunucu kaynakları yükseltildiğinde Google Crawlera göre daha iyi çalıştığını söyleyebilirim.Örnek olarka 300.000 sayfalı web sitem hem Google hemde Yandex üzerinde kayıtlı Google 3 aydır 12000 kadar sayfa indexlemesine rapmen Yandex tamamını almış durumda.
Yaşadığınız soruna gelecek olursak.
.Htaccess dosyasına şu satırları ekler misiniz ?
SetEnvIfNoCase User-agent (yandex|baidu|foobar) not-allowed=1
Order Allow,Deny
Allow from ALL
Deny from env=not-allowed