Bu kod da robots.txt ile aynı görevi görüyor.
-----

ATMCgrafik adlı üyeden alıntı

ya hocalar peki nasıl yaparız güzel bi robots.txt benim hiç bi fikrim yok yardımcı olabilecek var mı acaba ?


Hocam güzel robots.txt den kastınız ne ?
Counter Strike değil ki güzel bir cfg olsun. :D

Burada botlara neyi indexletmek istiyorsanız onu yazacaksınız.
Mesela Ben kendi sitemde şunu kullanırım;

User-Agent: *
Allow: /

User-agent: HTTrack
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: Microsoft URL Control - 6.00.8169
Disallow: /

Httrack tarzı programlarla sitemin indirilmesini, trafiğin hayvani şekilde çalınmasını önlemek için küçük bir yöntem.Onun dışında botlar istedikleri, gördükleri herşeyi indexlerler.

Mesela x.jpg dosyasının robotlar tarafından indexlenmesini engellemek istersen;

User-Agent: *
Disallow: /x.jpg