User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: http://siteadresi.com/sitemap.xml
Robots.txt dosyam bu şekilde.
Ancak site haritaları kısmında şu uyarıyı alıyorum: Site haritasında robots.txt tarafından engellenen URL'ler bulunuyor.
Örnek olarakta bunu vermiş: Site haritası: siteadresi.com/sitemap-pt-post-2016-11.xml
Değer: http://siteadresi.com/cakallarla-dans-4-izle/
Sizce sıkıntı ne?