Merhaba, hangi robots.txt dosyasını kullanıyorsunuz ? İnternette bir çok yerde arıyorum fakat hep farklı sonuçlar ile karşılaşıyorum. Benim kullandığım ;


Sitemap: http://

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /