Şöyle bir robots.txt kullanmayı düşünüyorum. Ama aklımda başka robots.txt örnekleride var hangisini kullanayım bilemedim açıkçası.

# Google Image
User-agent: Googlebot-Image
Allow: /

# Google AdSense
User-agent: Mediapartners-Google*
Allow: /

# Google Adsbot
User-agent: Adsbot-Google
Allow: /

# digg mirror
User-agent: duggmirror
Disallow: /

# Archive
User-agent: ia_archiver
Disallow: /

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Disallow: /xmlrpc.php
Allow: /wp-content/uploads/
Disallow: /page/*

Sitemap: http://siteadi.com/sitemap.xml