User-agent: *
Allow: /
Sitemap: http:// site adresi


bunu kullan engelleme yapma.