Herkese merhaba.

Yandexbot ile ilgili sorunum var. htaccess den yandexbotu kapatıyorum. CPU kullanımım %10 altına düşüyor. Tekrar actığımda cpu %30-%35 seviyelerine çıkıyor.

Robots.txt dosyasına

User-agent: Yandex
Crawl-delay: 60

Kodu ekledim ama yandex sürekli sitede.

Farklı ne yapabilirim. Sitenin indexlenmesi iyi ama yakında indexleyecek site bulamayacak.

Google index sayısı 60.000
Yandex index sayısı 1.500.000