arkadaşlar web siteme robots.txt ekledim kod bu şekilde ama ne işe yaradigini bilmiyorum yani kısaca zararı varmı iyi birşeymi kötümü ?
User-agent: *
Disallow:
Disallow: /cgi-bin/
Sitemap: http://www.siteadi.net/sitemap.xml