Kendi sitemde bahsettiğim konu değişik ve ayrıntılı şekilde BURADA.
Eğer indexlerinizin hem güzel hemde iyi olmasını istiyorsanız aşağıdaki gibi robots.txt dosyanızı değiştirin.
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /?fb_xd_fragment
Disallow: /404.php
Allow: /
Sitemap: http://www.film-indir.us/sitemap.xml