peki HTTrack gibi teleport programlarına karşı nasıl kapatırız sitemizi? bu tür teleport programları örümcek kullanarak siteyi indiriyor bildiğim kadarıyla. ben aşağıdakileri kullandım ama bir işe yaradıkları yok.
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: HTTrack
Disallow: /
Kapatamazsiniz.