Ara ara oluyorsa 'bad bot' etkisi olabilir. .htaccess ile bad bot engelleme hakkında araştırma yapın. WordPress kullanıcısı iseniz All in One SEO Pack eklentisinde Bad Bot engelleyici var.
Benim de Yandex botları ile başım beladaydı.
Robots dosyasında ona 5 saniyelik gecikme ayarı yaptım.
User Agent: Yandex
Crawl-delay: 5
Bu yöntemle epey bir rahatladı site.