CoaX adlı üyeden alıntı

Hocam şimdi Disallow bildiğiniz üzere istenmeyen dosyaların indexlenmemesi gereken bölüm
Allow ise istediğiniz şeylerin indexlenmesi gereken bölüm.
Zaten disallow da olmayan her şeyi google indexleyeceği için allow kullanmaya gerek yok.

Ancak yol ayrımı olan yerlerde allow kullanmak zorunda kalırsınız.
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
gibi.

Arama botlarını belirtmenizin bir mantığı olduğunu düşünmüyorum.
Bing, Yaho, Google bunları zaten webmaster bölümlerinde sitenizi doğruladınız.
ve siz disallowa almadıkca onlar sitenizi indexleyeceklerdir.

##Örnek bir robots.txt dosyası##
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: http://www.siteadresi.com/sitemap_index.xml
##Bitiş##

Disallow: /xmlrpc.php
xmlrpc eskiden wordpressin kullandığı özel bir araçtı.fakat gelişimler sonrasında artık kulanımı neredeyse bitti gibi.Bu yüzden bundan dolayı çok sayıda açık yaratıyor ve güvenlik sorunu teşkil ediyor. Bunun disallow olması gerekiyor yaptığınız gibi.fakat aşağıda verdiğim kodu onaylatın sonrasında bunu tekrar eklersiniz.

##bunların neden indexlenmemesi gerektiğini düşündünüz.
Disallow: /wp-login.php
Disallow: /wp-register.php

##bunları ftp den silebilirsiniz.
Disallow: /readme.html
Disallow: /license.txt

Google Arama Konsolu hesabınıza giriş yapın ve daha sonra eski Google arama konsolu web sitesine geçin.
Yukarıda verdiğim gibi ekleyin.
Araç, web sitenizin robots.txt dosyasını otomatik olarak getirecek ve eğer varsa hataları ve uyarıları vurgulayacaktır.