Bad bot engellemek için eklenti, .htaccess kodları arar bulursanız sorunlarınız ortadan kalkar büyük oranda.
Ben de Yandex botlarının yoğunluğundan muzdariptim. Robots.txt dosyasında bekletme ayarı yaptım.
user agent: Yandex
crawl-delay: 10
Yani, "Yandex botları 10'ar saniye aralıklarla indeksleme yapabilsin" diye ayarladım. Ancak bu şekilde nefes aldı site.
