etiketler, arşiv sayfaları, kategoriler gibi index almasını istemediğiniz sayfaları robots.txt yazmanız indexlenmesini engellemez.