Sitenizin ana klasörü içerisinde yer alan "robots.txt" dosyası üzerinden;

User-agent: *
Disallow: /


Komutunu kullanarak yapabilirsiniz. Örneğin;


User-agent: *
Disallow: /archive
Disallow: /category


Belirtilen klasörler ve alt sayfaları index almayacaktır.