Wordpress'in robots.txt dosyası oluşturduğunu ilk defa senden duyuyorum. O dosyayı oluşturan Wordpress değil de SEO eklentileri olabilir. Normalde manuel oluşturulur, en azından ben hep manuel oluştururum.

robots.txt önemlidir, bir not defteriyle oluşturabilirsin. Dosyayı robots adıyla kaydet ve dizine yükle.
SEO Hocası Wordpress için şöyle bir robots.txt önermiş:

Sitemap: http://www.site.com/sitemap.xml

User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /