Log dosyanızı açıp "tümünü bul" olarak ahrefs'i aratın. Kaç satır bulacak bir bakıp log dosyasının bütünüyle karşılaştırın. Google bot kadar veya fazla ise engelleyin gitsin. Gereksiz yere kaynak israfı yapar. Robot.txt'e aşağıdakini yazarsınız. Geçenlerde Yandex ve Ahrefs botları bir kaç günde 3 GB'a yakın log dosyası oluşturdu. Günde 20-30 kişinin girdiği bir sitede hem de.

User-agent: AhrefsBot
Disallow: /