Yandex Kaynaklı Bot Saldırısı (!)

Merhaba. İlk cümleniz ne alaka olabilir. Aynen böyle

Tuhaf bir sorun yaşıyorum

141.8.143.0 - 141.8.143.254 arasında sabit bir kaç IP adresi (7-10 özellikle)
sunucum üzerindeki tüm sitelerde eş zamanlı ziyaret ve sorguda bulunuyor. Bu aralığı engelledim. ISP olarak yandex görünüyor. Robot.txt kullansam aktif olması 2 saat sürüyor. Ki her zaman işe yaramadığını biliyorum

Yine aynı zamanda tüm sitelerde 5.255.251.157'den gelen istekler var. Yine ISP Yandex

O kadar yoğun çalışıyor ki işlemci %40-60 arasında dalgalanıyor. Bir spider için çok, ddos için az bir girişim var.

Windows firewall'dan inbound kısıtlamasıyla biraz rahatlatabildim. 3. bir Yandex girişimi daha oldu, yine tüm sitelerde, yine aynı anda. Bunu da engelleyim derken firewall'da tüm girişleri kapattım kazara :) Ben de dışarda kaldım.

Pazar günü sinirlerimi tavan yaptırdı. Böyle bot mu olur Allah aşkına. 1-2 sitede gezinse belki. Onun için bile yoğun bir trafikti. Ama sunucudaki tüm sitelere aynı anda... IP adresine bakmadan bot saldırısı diye düşündüm. Ki kaynağı Yandex de olsa bu bir bot saldırısıdır. Resident evil'daki zombiler gibi davranıyor.

Aynı durumu yaşayan var mı? Neler yapılabilir?

+1 yandex botları çok agresif davranıyor bunun gibi örnek durumda ne yapılabilir ?

Agresiflik konusunda Yandex Crawlerları bir numara ancak sunucu kaynakları yükseltildiğinde Google Crawlera göre daha iyi çalıştığını söyleyebilirim.Örnek olarka 300.000 sayfalı web sitem hem Google hemde Yandex üzerinde kayıtlı Google 3 aydır 12000 kadar sayfa indexlemesine rapmen Yandex tamamını almış durumda.
Yaşadığınız soruna gelecek olursak.
.Htaccess dosyasına şu satırları ekler misiniz ?

SetEnvIfNoCase User-agent (yandex|baidu|foobar) not-allowed=1

Order Allow,Deny
Allow from ALL
Deny from env=not-allowed

Sunucu kaynaklarını arttırmanızı öneririm , fazla bot can çıkarmaz.

Birçok firma sırf bu yüzden paylaşımlı sunucularda Yandex engellemesi yapmakta. Yandex gayet saldırgan bir tavır izliyor.

Ben şimdi firewall'dan görebildiğim tüm yandex botlarını engelledim. Tek tek tüm sitelerde robot.txt ile sonra uğraşırım dedim. Eksik kalsın Yandex, varlığı daha büyük sıkıntı. İstisnai bir durum için böyle iddialı bir şey yazmıyorum. Pazar günümü mahvettiği için duygusal da konuşmuyorum.

Gece saat 12'den bugün yani pazar 15:00'e kadar yemiş bitirmiş sunucumu. Tüm müşterilerim tek tek aradı.

Bir müşterimin çok atıl sitesinin IIS loglarına bakıyorum. 22237 Googlebot girdisi. 31950 Yandex girdisi var. Google'dan çok giriş yapıyor. Tamam neyse ne ama aynı anda aynı sunucuda tüm sitelere girmesi anormal

IIS loglarım şişti. 600 MB log dosyasının ciddi bir bölümü yandex girdilerinden oluşuyor.

Durumun aciliyeti nedeniyle windows firewall advanced security içinde inbound rules alanından new rule ile port kısıtlaması yaptım. ilgili IP aralıklarında (örnek; 141.8.143.0 - 141.8.143.254) TCP girişlerini engelledim. Daha sonra tüm sitelerin root'una hızlıca aşağıdaki veriyi kopyalarım

User-agent: Yandex
Disallow: /

Robotları yavaşlatmak adına fikri olan varsa yazabilir.

Son dönemlerde sistem kaynalarımın yoğun tükenmesinden ötürü bir sunucu daha aktif ediyim demiştim. İşlemci hiç bir şey yoksa bile %10-15 bareminde gezerdi. Bugün 60'ları gördü. Yandex botları çıkarınca %2-5 bareminde %80-85 dolaylarında olan ram tüketimi %68, en fazla 75 oldu. 16 GB ram var makinada bu oranı bi düşünün.

Sunucunuzda mutlaka IIS worker proccess ile girişleri yoklayın derim. Benim aklıma hiç tüm siteleri aynı anda hedef alan yandex botu gelmemişti. Bu yandex, sistemi kurgularken hiç düşünmüyor mu acaba "serverı dar boğaza sokar mıyız" diye.

Merhaba, Ocak 2017'de aşağıdaki konuyu açmıştım.

https://wmaraci.com/forum/yandex/yandexbot-problemi-406481.html

robots.txt, htaccess, yandex webmaster sayfasından bağlantı süresi ayarlama vs. vs. hepsini yaptım.

Yandex efendi yokken cpu %2- %5, yandex efendi gelince %50