Öncelikle robots.txt dosyası ile engelleyemezsin. O yöntem sadece robots.txt dosyasını kontrol edip ona göre hareket eden iyi niyetli botlar içindir.

.htaccess dan engellemek ise şöyle yapılıyor: önce içeriği çalan Web sitesinin IP adresini buluyorsun ve ardından klasik .htaccess ile IP engelleme işlemini yapıyorsun. (alternatif olarak Cpanel den de engelleyebilirsin)