Örn;
User-agent: *
Allow: /şeklindeki bir robots.txt dosyası, sitenizdeki tüm alanları, dosyaları, içerikleri gezer ve kayıt altına alır.
Disallow: /cgi-bin
Disallow: /wp-admin Disallow özelliğini kullandığınız klasörler veya içerikler ise botlar tarafından önemsenmezler ve kayıt altına alınmazlar, indekslenmezler.
Edit // robots.txt sadece Wordpress'e özel değildir. Her web sayfası bunu kullanabilir, kullanmak durumundadır.