.htacces dosyası ile yapabilirsin. Araştır nette var.
Nasıl aratabilirim hocam ne yazarak.
Ek Olarak:
Robots.txt dosyasına gerekli parametreleri ekleyerek yapabilirsiniz bu sayede istediğiniz botları engelleyebilir veya serbest bırakabilirsiniz.
Robots.txt nasıl oluşruabilirim hocam googlede arattım geneli wordpress yardımcı olabilirmisiniz sitemde şuan online en az 75 bot var.