Bu yazdığınız yalnızca siteye giren arama motoru botlarını engelliyor diye düşünüyorum, zira robots.txt yalnızca bunlar için. Fakat httrack tarzı yazılımlar web sitesi içeriğini kopyalıyor yani gidip robots.txt dosyasına bakmadan, içeriği alıyor. (Bu benim bildiğim, yanlış biliyor olamazmıyım, olabilirim tabi ki de) Fakat, eğer apache kullanıyorsanız .htacces içerisinden, nginx kullanıyorsanız .conf içerisinden, Header'ında arkadaşın User-agent'larda örnek verdiği isimleri engellerseniz, taramaya, siteyi kopyalamaya başladıklarında boş sayfa ile karşılaşırlar.
Not: Yukarıdada belirttiğim gibi yazılımların içerisinde robots.txt sorgusu olup olmadığını bilmiyorum, olmayacağı kanaatindeyim, o yüzden daha kesin olan bir yöntemden bahsettim, fruzgar'ın bahsettiği şekildede olabilmesi mümkün. Saygılar, sevgiler.
Not: Yukarıdada belirttiğim gibi yazılımların içerisinde robots.txt sorgusu olup olmadığını bilmiyorum, olmayacağı kanaatindeyim, o yüzden daha kesin olan bir yöntemden bahsettim, fruzgar'ın bahsettiği şekildede olabilmesi mümkün. Saygılar, sevgiler.
Katılıyorum hocam ama sanırım robot.txt engelliyor çünkü ben bi sitede denemiştim ayıptır söylemesi :)
Httracki başlattığımda site yansıması alınamadı diye hata veriyordu. Araştırdığım da ise robots.txt dosyasında yukarıda vermiş olduğum kodları buldum. Arkadaş bu konuyu açtığında ise yukarıdaki bahsettiğim sitenin robots.txt sinden alıp yazdım. Ama dediğiniz gibi robots.txt değilde farklı bir engelleme de olabilir