Bu kod da robots.txt ile aynı görevi görüyor.
-----
Hocam güzel robots.txt den kastınız ne ?
Counter Strike değil ki güzel bir cfg olsun. :D
Burada botlara neyi indexletmek istiyorsanız onu yazacaksınız.
Mesela Ben kendi sitemde şunu kullanırım;
User-Agent: *
Allow: /
User-agent: HTTrack
Disallow: /
User-agent: URL Control
Disallow: /
User-agent: Microsoft URL Control
Disallow: /
User-agent: Microsoft URL Control - 6.00.8169
Disallow: /
Httrack tarzı programlarla sitemin indirilmesini, trafiğin hayvani şekilde çalınmasını önlemek için küçük bir yöntem.Onun dışında botlar istedikleri, gördükleri herşeyi indexlerler.
Mesela x.jpg dosyasının robotlar tarafından indexlenmesini engellemek istersen;
User-Agent: *
Disallow: /x.jpg 
