şimdi tam olarak nasıl yazacağım hocam düzeltip yazar mısınız?
User-agent: *
Disallow: /
Sitemap: http://www.xxxx.com/sitemap.xml
yukarıda yazdığım gibi bir robots sitenizdeki tüm dosyaları taranmasına izin verir. Eğer sitenizde engellemek istedigiğiniz dosyanız varsa Disallow: /dosyaadı/ buşekilde kısıtlayın User-agent: * bu işaret tüm arama motorlarının botlarını sitenizi taramasına izin vericektir.