AhmetYılmaz adlı üyeden alıntı

google ve google partnerleri haricindeki botlar gelmesin diyor, /lı olan yerleri indexleme diyor bu kod. Yanlış yapılandırma sonucu çıkan bir uyarıdır bu, wordpress kullandığın için senin zaten bu dosyaya ihtiyacın yok,

User-agent: *
Sitemap: http://www.domain.com/sitemap.xml

bu şekilde yazarsan sorun index aldığında düzelecek.


User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: http://www.seslicene.com/sitemap.xml.gz


Hocam şimdi burada engellenen 2 url var ve robot.txt getir dediğimde bulunamadı diyor sitem çok ama çok geç index alıyor bir önerin var mı ?