arkadaşlar web siteme robots.txt ekledim kod bu şekilde ama ne işe yaradigini bilmiyorum yani kısaca zararı varmı iyi birşeymi kötümü ?
User-agent: *
Disallow:
Disallow: /cgi-bin/
Sitemap: http://www.siteadi.net/sitemap.xml
robots.txt ne işe yarıyor |
4 Mesajlar | 532 Okunma |
User-agent: * (burada tüm arama motorlarının botlarına izin vermişsiniz)
Disallow: (bu şekilde kullanmak çok manasız)
Disallow: /cgi-bin/ (burada botların /cgi-bin/ dosyasının tüm içeriğine erişimi
engellemişsiniz)