Başımdan şöyle bir olay geçti, Hosting sunucum Turhost' Yandex sitemi indexlemediği için yandex'e mail attım ve verdiği cevap :
Merhaba,
Şu anda indeksleme robotumuz
www.hilehurda.com sitesine bağlanırken sunucunuzda robot IP'sinin bloke edilmesinden kaynaklanan bir sorunla karşılaşmaktadır. Bu nedenle
www.hilehurda.com sitesi indekslenemyor ve geçici olarak arama sonuçlarında yer alamıyor.
Lütfen hosting sağlayıcınıza IP [ 109.232.216.38 ] üzerindeki bloke durumunun kaldırılması için başvurmanızı rica ederiz. Siteye erişimimiz olduğunda indekslenmesi otomatik olarak başlayacak ve veri tabanlarının birkaç güncellemesinden sonra arama sonuçlarında görünmeye başlayacaktır.
Turhost Destek ekibine yazdım ve aldığım cevap :
Merhaba,
Yandex botları sitelerde orantısız crawling işlemi gerçekleştirdiği için bir cok sitenin CPU limitini aşmasına neden oluyor ve yavaşlık sorunları çıkartıyor.
Hatta bazen loop'a girerek sitelerin ulaşılamaz duruma gelmesine neden olmaktadır.
Bu nedenle sunucularımızda yandex botları engellenmiştir.
Sorun yandex taraflı olduğu için, yandex bu sorunu giderene kadar sunucularımızda engellenmeye devam edecektir.
Saygılarımızla,
Turhost.com Müşteri Hizmetleri
Bu durum da çok şaşırmıştım.