Merhaba,
Düzelmesi için ne kadar zaman geçeceğini ben bilemem. Google örümcek botları sitemap dosyanızı ne zaman yeniden tarar ise o zaman düzeltilir.
Hatanın sebebi ise robots.txt dosyanızın Allow :/ etiketinin olmamasından kaynaklı.
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /archives/
Disallow: *?replytocom
Disallow: /author
Disallow: /comments/feed/
verdiğiniz bu kod kısmı bütün arama motorları için geçerli bir satırdır. Google,Bing,Yahoo gibi sitelerin hepsini kapsar ve siz disallow etiketini kapatmadığınız için arama motorların örümcek botları sitenizde bir dizine erişmek istediğinde robots.txt dosyasından izin olup olmadığını kontrol eder sizin kinde engelli olduğu için engelli diye hata vermiş.
Bu kodda olması gereken şu;
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /archives/
Disallow: *?replytocom
Disallow: /author
Disallow: /comments/feed/
Allow: /
Bu sayede disallow ile belirttiğiniz kısımlar arama motorları tarafından indexlenmeyecektir onun dışında kilere erişim izni vermiş oluyorsunuz.
Umarım anlatabilmişimdir durumu