Kullandığım Robots.txt kodları şunlar.
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Allow: /wp-content/uploads
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
Sitemap: http://tavsiyelazim.com/sitemap_index.xml
Burada konularınızın index almasını engelleyen bir durum yok.
Tabiiki çözüm arayacaksınız fakat bunu tema, host gibi konularda aramanız zaman kaybı olur.
Benim tecrübelerime göre hit, sitede kalma süresi, yorum yoğunluğu vb. konulara bağlı index alma süreleri değişiklik gösteriyor.