KarakayaEmre adlı üyeden alıntı

Robot tarafından çıkarılan url ler vardır.Onlara dikkat et...



----- Belge robots.txt dosyasında korumalı ? 72----

şöyle bi ifade var robot.txt dosyası otomatik oluşan ;

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.cinselsagligim.com/feeds/posts/default?orderby=UPDATED


bu dosyada mı bi sıkıntı var o zaman pek anlamıyorum robot.txt den