Bir robots.txt dosyasında en fazla ne olabilir aslında ama belki bilmediğimiz bir detay çıkar ben robots.txt dosyamı paylaşıyorum sizin kullandığınız şekli ile wordpress için en iyi robots.txt dosyasını oluşturalım istedim.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: http://www.site-adi.org/sitemap.xml.gz

Optimize edilmiş .Htaccess için tıklayın.