Bu yazdığınız yalnızca siteye giren arama motoru botlarını engelliyor diye düşünüyorum, zira robots.txt yalnızca bunlar için. Fakat httrack tarzı yazılımlar web sitesi içeriğini kopyalıyor yani gidip robots.txt dosyasına bakmadan, içeriği alıyor. (Bu benim bildiğim, yanlış biliyor olamazmıyım, olabilirim tabi ki de) Fakat, eğer apache kullanıyorsanız .htacces içerisinden, nginx kullanıyorsanız .conf içerisinden, Header'ında arkadaşın User-agent'larda örnek verdiği isimleri engellerseniz, taramaya, siteyi kopyalamaya başladıklarında boş sayfa ile karşılaşırlar.

Not: Yukarıdada belirttiğim gibi yazılımların içerisinde robots.txt sorgusu olup olmadığını bilmiyorum, olmayacağı kanaatindeyim, o yüzden daha kesin olan bir yöntemden bahsettim, fruzgar'ın bahsettiği şekildede olabilmesi mümkün. Saygılar, sevgiler.