Örnek vereyim;

User-agent: *
Allow: /

# Tümüne izin verir, tarar ve dizine ekler.

Disallow: /dosya
Disallow: /dosya-1
Disallow: http://www.site.com/engellenenurl.html
# Belirlenen dosyaları tarar ancak dizine eklemez.



Sitemap: http://www.siteadi.com/sitemap.xml

# Site haritasının yolunu belirler.

Sitemap disallow olarak ayarlanmışsa, onu allow şeklinde düzeltin.