SEO uyumlu robots.txt denmesinin sebebi Google botlarının bir siteyi ziyaret ederken onların fazla vakit kaybetmelerini önleyip neleri yapıp neleri yapmayacaklarını önceden söylemek, yol göstermekten geliyor.

Google bir siteye geldiği zaman ilk olarak robots.txt dosyasına bakar. Bu dosyayı bulursa okur ve tarif edilen yoldan gider. Eğer yoksa kendi kafasına göre önemli gördüğü şekilde yoluna gider. Bu yüzden bu dosya gerçekten önemlidir. SEO'ya uygun örnek bir robots.txt dosyası şöyle olabilir:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

Sitemap: http://www.sitem.com/post-sitemap.xml
Sitemap: http://www.sitem.com/page-sitemap.xml

Bir Robots.txt dosyasının olmazsa olmazı site haritalarının linkidir. Bu şekilde Google robotlarıyla dost olabilirsiniz :)