Robots.txt Sorunu

Merhaba arkadaşlar Robots.txt sorunu var.

Yoast seo eklentisi kullanıyorum.

Sitemap de özellikle "product-sitemap.xml" burada uyarı veriyor.

Robots.txt aşağıdaki gibi. Sorun neden kaynaklanıyor. Böyle sorun yaşayan varmı daha önce nasıl çözebilirim.

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /archives/
Disallow: *?replytocom
Disallow: /author
Disallow: /comments/feed/

User-agent: Mediapartners-Google*
Allow: /

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Merhaba,

Robots.txt dosyanızı benim blogumda ki gibi yapılandırırsanız sorun oluşturmayacaktır.

Bkz: https://huseyinkorbalta.com/robots.txt

Machine yaptım ama hala sorun görünüyor sitemap de. Ne kadar zaman geçmesi lazım. Birde böyle bir sorun yaşadın mı ? Neden olabilir böyle bir sorun.

Merhaba,

Düzelmesi için ne kadar zaman geçeceğini ben bilemem. Google örümcek botları sitemap dosyanızı ne zaman yeniden tarar ise o zaman düzeltilir.

Hatanın sebebi ise robots.txt dosyanızın Allow :/ etiketinin olmamasından kaynaklı.

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /archives/
Disallow: *?replytocom
Disallow: /author
Disallow: /comments/feed/

verdiğiniz bu kod kısmı bütün arama motorları için geçerli bir satırdır. Google,Bing,Yahoo gibi sitelerin hepsini kapsar ve siz disallow etiketini kapatmadığınız için arama motorların örümcek botları sitenizde bir dizine erişmek istediğinde robots.txt dosyasından izin olup olmadığını kontrol eder sizin kinde engelli olduğu için engelli diye hata vermiş.

Bu kodda olması gereken şu;

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /archives/
Disallow: *?replytocom
Disallow: /author
Disallow: /comments/feed/
Allow: /

Bu sayede disallow ile belirttiğiniz kısımlar arama motorları tarafından indexlenmeyecektir onun dışında kilere erişim izni vermiş oluyorsunuz.

Umarım anlatabilmişimdir durumu