User-agent: *
Disallow: /indexlenmesini istemediğin içerik/

Sitemap: http://siteadı.net/sitemap.xml.gz