tam olarak doğru o zaman hocam değil mi? Böylece bütün her yeri tarayacak botlar. peki admin paneli dahil mi buna?
admin panelinizi taramasını istemiorsanız o dosyaların hangisi istemiyoprsanız
Disallow: /adminpanelinizindosyaismi/
bu şekilde engelleyebilirsiniz.
Örnek :
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
bu şekilde verilen bi robots yukarıdaki / arası / dosyaları indexlemez.