Robots.txt dosyasına gerekli parametreleri ekleyerek yapabilirsiniz bu sayede istediğiniz botları engelleyebilir veya serbest bırakabilirsiniz.