Sitemap: http://siteadresin/sitemap.xml
User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /Yalnız, robots.txt dosyasını NotePad++ ile açıp kodlamayı UTF-8(Bomsuz) yapmanızı ve arkadaşın dediği şekilde eklenti sayesinde robots.txt yi değiştirecekseniz CHMOD ayarını 777 yapmanızı öneririm. Ayarlar bittikten sonra CHMOD 644 ayarlamak, en uygunudur.
Ek olarak:
User-agent: Googlebot kodu siteyi sadece Google' a açar.Siteyi tüm botlara açmak için:
User-agent: * kodu ile değiştirmeniz yeterli olacaktır.