Ben şimdi firewall'dan görebildiğim tüm yandex botlarını engelledim. Tek tek tüm sitelerde robot.txt ile sonra uğraşırım dedim. Eksik kalsın Yandex, varlığı daha büyük sıkıntı. İstisnai bir durum için böyle iddialı bir şey yazmıyorum. Pazar günümü mahvettiği için duygusal da konuşmuyorum.

Gece saat 12'den bugün yani pazar 15:00'e kadar yemiş bitirmiş sunucumu. Tüm müşterilerim tek tek aradı.

Bir müşterimin çok atıl sitesinin IIS loglarına bakıyorum. 22237 Googlebot girdisi. 31950 Yandex girdisi var. Google'dan çok giriş yapıyor. Tamam neyse ne ama aynı anda aynı sunucuda tüm sitelere girmesi anormal

IIS loglarım şişti. 600 MB log dosyasının ciddi bir bölümü yandex girdilerinden oluşuyor.

Durumun aciliyeti nedeniyle windows firewall advanced security içinde inbound rules alanından new rule ile port kısıtlaması yaptım. ilgili IP aralıklarında (örnek; 141.8.143.0 - 141.8.143.254) TCP girişlerini engelledim. Daha sonra tüm sitelerin root'una hızlıca aşağıdaki veriyi kopyalarım

User-agent: Yandex
Disallow: /

Robotları yavaşlatmak adına fikri olan varsa yazabilir.

Son dönemlerde sistem kaynalarımın yoğun tükenmesinden ötürü bir sunucu daha aktif ediyim demiştim. İşlemci hiç bir şey yoksa bile %10-15 bareminde gezerdi. Bugün 60'ları gördü. Yandex botları çıkarınca %2-5 bareminde %80-85 dolaylarında olan ram tüketimi %68, en fazla 75 oldu. 16 GB ram var makinada bu oranı bi düşünün.

Sunucunuzda mutlaka IIS worker proccess ile girişleri yoklayın derim. Benim aklıma hiç tüm siteleri aynı anda hedef alan yandex botu gelmemişti. Bu yandex, sistemi kurgularken hiç düşünmüyor mu acaba "serverı dar boğaza sokar mıyız" diye.