Ben olsam sitemap.xml yi kaldırırım eğer wordpress kullanıyorsanız sitemap eklentisini indirmenizi tavsiye ederim kendiniz uğraşırsanız daha da bozuntuya gider gibi.

Webmaster tools'dan sitenizi kaldırın gönderdiğiniz sitemap'leri silin.
Daha sonra yukarda bahsettiğim adımları tekrar uygulamanızı tavsiye ederim. Yukardakileri yaptıktan sonra tekrar webmaster tools'a sitemap gönderirseniz sorun
kalkar diye düşünüyorum, umarım düzelir :)