tüm listeyi indir
robotsa at
disallow olarak

yada direk olarak

User-agent: *
Disallow: / olarakta yapabilirsin kalmasını istediğin link yoksa