Site adresinizi göremediğim için sağlıklı bir yorum yapamıyorum fakat %99 ihtimalle okunamaması bu yüzdendir. Hatta bir süre sitenizde olmayan URL ler Google Webmaster'da önünüze çıkacak şu şu şu 404 URL leri düzeltin uyarıları da alacaksınız. Halbuki o URLler sizin değildir.
Kısaca Sitemap adresinizi tarayıcıya yazıp enterladığınızda sorunsuz açılıyorsa zamanla bu durum düzelecektir. (sorunsuz açılıyorsa)