Robots.txt ile neden oynama gereği duydunuz ki bu şekilde, botlara izin verin, istemediğiniz klasörleri kısıtlayın olsun bitsin. İlgili başlığı paylaşırsanız göz atmak isterim.