User-agent: *
Allow: /
# Tümüne izin verir, tarar ve dizine ekler.Disallow: /dosya
Disallow: /dosya-1
Disallow:www.site.com/engellenenurl.html
# Belirlenen dosyaları tarar ancak dizine eklemez.
Sitemap:www.siteadi.com/sitemap.xml
# Site haritasının yolunu belirler.Sitemap disallow olarak ayarlanmışsa, onu allow şeklinde düzeltin.